طرق التدرج التقريبي للتعلم

الموسوعة الحرة

تُعدّ طرق التدرج التقريبي (التقسيم الأمامي والخلفي) للتعلم مجالًا بحثيًا في نظرية التحسين والتعلم الإحصائي ، حيث تُدرس الخوارزميات لفئة عامة من مسائل التنظيم المحدب، حيث قد لا تكون عقوبة التنظيم قابلة للتفاضل . ومن الأمثلة على ذلك:ℓ1{\displaystyle \ell _{1}}التنظيم (المعروف أيضًا باسم لاسو) بالشكل

مينw∈Rد1ن∑أنا=1ن(yأنا-⟨w،xأنا⟩)2+λ‖w‖1، أين xأنا∈Rد و yأنا∈R.\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}+\lambda \|w\|_{1},\quad {\text{ حيث }}x_{i}\in \mathbb {R} ^{d}{\text{ و }}y_{i}\in \mathbb {R} .}

توفر طرق التدرج التقريبي إطارًا عامًا لحل مسائل التنظيم من نظرية التعلم الإحصائي، مع عقوبات مصممة خصيصًا لتطبيق المسألة. [ 1 ] [ 2 ] يمكن أن تساعد هذه العقوبات المخصصة في إحداث بنية معينة في حلول المسائل، مثل التباعد (في حالة لاسو ) أو بنية المجموعة (في حالة لاسو المجموعة ).

معلومات أساسية ذات صلة

تُعدّ طرق التدرج التقريبي قابلة للتطبيق في مجموعة واسعة من السيناريوهات لحل مسائل التحسين المحدبة من الشكل التالي:

مينx∈حF(x)+R(x)،{\displaystyle \min _{x\in {\mathcal {H}}}F(x)+R(x),}

أينF{\displaystyle F}محدبة وقابلة للتفاضل مع تدرج مستمر وفقًا لشرط ليبشيتز ،R{\displaystyle R}هي دالة محدبة ، شبه متصلة من الأسفل، وربما تكون غير قابلة للتفاضل، وح{\displaystyle {\mathcal {H}}}هي مجموعة ما، عادةً ما تكون فضاء هيلبرت . المعيار المعتاد لـx{\displaystyle x}يقللF(x)+R(x){\displaystyle F(x)+R(x)}إذا وفقط إذا∇(F+R)(x)=0{\displaystyle \nabla (F+R)(x)=0}في الإطار المحدب والقابل للتفاضل، يتم الآن استبداله بـ

0∈∂(F+R)(x)،{\displaystyle 0\in \partial (F+R)(x),}

أين∂φ{\displaystyle \جزئي \varphi }يرمز إلى التفاضل الجزئي لدالة محدبة ذات قيم حقيقيةφ{\displaystyle \varphi }.

بفرض دالة محدبةφ:ح→R{\displaystyle \varphi :{\mathcal {H}}\to \mathbb {R} } أحد المؤثرات المهمة التي يجب مراعاتها هو مؤثر التقريب الخاص بهتقريبيφ:ح→ح{\displaystyle \operatorname {prox} _{\varphi }:{\mathcal {H}}\to {\mathcal {H}}}محدد بواسطة

تقريبيφ⁡(u)=arg⁡مينx∈حφ(x)+12‖u-x‖22،{\displaystyle \operatorname {prox} _{\varphi }(u)=\operatorname {arg} \min _{x\in {\mathcal {H}}}\varphi (x)+{\frac {1}{2}}\|ux\|_{2}^{2},}

وهو محدد جيدًا بسبب التحدب الصارم لـℓ2{\displaystyle \ell _{2}}المعيار. يمكن اعتبار عامل التقارب تعميمًا للإسقاط . [ 1 ] [ 3 ] [ 4 ] نرى أن عامل التقارب مهم لأنx*{\displaystyle x^{*}}هو حلٌّ يُقلِّل من حجم المشكلةمينx∈حF(x)+R(x){\displaystyle \min _{x\in {\mathcal {H}}}F(x)+R(x)}إذا وفقط إذا

x*=تقريبيγR⁡(x*-γ∇F(x*))،{\displaystyle x^{*}=\operatorname {prox} _{\gamma R}\left(x^{*}-\gamma \nabla F(x^{*})\right),}أينγ>0{\displaystyle \gamma >0}هو أي عدد حقيقي موجب. [ 1 ]

تحلل مورو

إحدى التقنيات المهمة المتعلقة بطرق التدرج التقريبي هي تحليل مورو، الذي يحلل عامل الهوية إلى مجموع عاملي تقارب. [ 1 ] أي، ليكنφ:X→R{\displaystyle \varphi لتكن دالةً شبه متصلة من الأسفل ومحدبة على فضاء متجهي . X{\displaystyle {\mathcal {X}}}نُعرّف مُرافق فينكل الخاص به.φ*:X→R{\displaystyle \varphi ^{*}:{\mathcal {X}}\to \mathbb {R} }أن تكون الوظيفة

φ*(u):=رشفةx∈X⟨x،u⟩-φ(x).{\displaystyle \varphi ^{*}(u):=\sup _{x\in {\mathcal {X}}}\langle x,u\rangle -\varphi (x).}

ينص الشكل العام لتحليل مورو على أنه لأيx∈X{\displaystyle x\in {\mathcal {X}}}وأيγ>0{\displaystyle \gamma >0}الذي - التي

x=تقريبيγφ⁡(x)+γتقريبيφ*/γ⁡(x/γ)،{\displaystyle x=\operatorname {prox} _{\gamma \varphi }(x)+\gamma \operatorname {prox} _{\varphi ^{*}/\gamma }(x/\gamma ),}

والذي من أجلγ=1{\displaystyle \gamma =1}يشير ذلك إلى أنx=تقريبيφ⁡(x)+تقريبيφ*⁡(x){\displaystyle x=\operatorname {prox} _{\varphi }(x)+\operatorname {prox} _{\varphi ^{*}}(x)}[ 1 ] [ 3 ] يمكن اعتبار تحليل مورو تعميمًا للتحليل المتعامد المعتاد للفضاء المتجهي ، على غرار حقيقة أن عوامل التقارب هي تعميمات للإسقاطات. [ 1 ]

في بعض الحالات، قد يكون من الأسهل حساب عامل التقارب للمرافق.φ*{\displaystyle \varphi ^{*}}بدلاً من الوظيفةφ{\displaystyle \varphi }وبالتالي، يمكن تطبيق تحليل مورو. وينطبق هذا على مجموعة لاسو .

تنظيم لاسو

لنفترض مسألة تقليل المخاطر التجريبية المنتظمة مع خسارة مربعة ومعℓ1{\displaystyle \ell _{1}}المعيار كعقوبة للتنظيم:

مينw∈Rد1ن∑أنا=1ن(yأنا-⟨w،xأنا⟩)2+λ‖w‖1،{\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}+\lambda \|w\|_{1},}

أينxأنا∈Rد و yأنا∈R.{\displaystyle x_{i}\in \mathbb {R} ^{d}{\text{ and }}y_{i}\in \mathbb {R} .}الℓ1{\displaystyle \ell _{1}}تُعرف مشكلة التنظيم أحيانًا باسم لاسو ( مُعامل الانكماش والاختيار المطلق الأدنى ). [ 5 ] مثل هذاℓ1{\displaystyle \ell _{1}}تُعدّ مسائل التنظيم مثيرة للاهتمام لأنها تُنتج حلولاً متفرقة ، أي حلولاًw{\displaystyle w}تحتوي مسائل التصغير على عدد قليل نسبيًا من المكونات غير الصفرية. ويمكن اعتبار طريقة لاسّو بمثابة استرخاء محدب للمسألة غير المحدبة.

مينw∈Rد1ن∑أنا=1ن(yأنا-⟨w،xأنا⟩)2+λ‖w‖0،{\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}+\lambda \|w\|_{0},}

أين‖w‖0{\displaystyle \|w\|_{0}}يشير إلىℓ0{\displaystyle \ell _{0}}"المعيار"، وهو عدد العناصر غير الصفرية في المتجهw{\displaystyle w}تُعدّ الحلول المتفرقة ذات أهمية خاصة في نظرية التعلم من أجل قابلية تفسير النتائج: إذ يمكن للحل المتفرق تحديد عدد قليل من العوامل المهمة. [ 5 ]

إيجاد عامل التقارب L1

لتبسيط الأمور، سنقتصر اهتمامنا على المشكلة التيλ=1{\displaystyle \lambda =1}لحل المشكلة

مينw∈Rد1ن∑أنا=1ن(yأنا-⟨w،xأنا⟩)2+‖w‖1،{\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}+\|w\|_{1},}

نعتبر دالة الهدف لدينا مكونة من جزأين: حد محدب وقابل للتفاضلF(w)=1ن∑أنا=1ن(yأنا-⟨w،xأنا⟩)2{\displaystyle F(w)={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}}ودالة محدبةR(w)=‖w‖1{\displaystyle R(w)=\|w\|_{1}}. لاحظ أنR{\displaystyle R}ليس محدبًا تمامًا.

لنحسب عامل التقارب لـR(w){\displaystyle R(w)}أولاً، نجد توصيفًا بديلاً لمؤثر التقاربتقريبيR⁡(x){\displaystyle \operatorname {prox} _{R}(x)}على النحو التالي:

u=تقريبيR⁡(x)⟺0∈∂(R(u)+12‖u-x‖22)⟺0∈∂R(u)+u-x⟺x-u∈∂R(u).{\displaystyle {\begin{aligned}u=\operatorname {prox} _{R}(x)\iff &0\in \partial \left(R(u)+{\frac {1}{2}}\|u-x\|_{2}^{2}\right)\\\iff &0\in \partial R(u)+u-x\\\iff &x-u\in \partial R(u).\end{aligned}}}

لR(w)=‖w‖1{\displaystyle R(w)=\|w\|_{1}}من السهل حسابه∂R(w){\displaystyle \partial R(w)}: الأنا{\displaystyle i}المدخل رقم 1 من∂R(w){\displaystyle \partial R(w)}هو بالضبط

∂|wأنا|={1،wأنا>0-1،wأنا<0[-1،1]،wأنا=0.{\displaystyle \partial |w_{i}|={\begin{cases}1,&w_{i}>0\\-1,&w_{i}<0\\\left[-1,1\right],&w_{i}=0.\end{cases}}}

باستخدام إعادة توصيف عامل التقارب المذكور أعلاه، لاختيارR(w)=‖w‖1{\displaystyle R(w)=\|w\|_{1}}وγ>0{\displaystyle \gamma >0}لدينا ذلكتقريبيγR⁡(x){\displaystyle \operatorname {prox} _{\gamma R}(x)}يتم تعريفها على مستوى المدخل بواسطة

(تقريبيγR⁡(x))أنا={xأنا-γ،xأنا>γ0،|xأنا|≤γxأنا+γ،xأنا<-γ،{\displaystyle \left(\operatorname {prox} _{\gamma R}(x)\right)_{i}={\begin{cases}x_{i}-\gamma ,&x_{i}>\gamma \\0,&|x_{i}|\leq \gamma \\x_{i}+\gamma ,&x_{i}<-\gamma ,\end{cases}}}

وهو ما يُعرف باسم عامل العتبة الناعمةSγ(x)=تقريبيγ‖⋅‖1⁡(x){\displaystyle S_{\gamma }(x)=\operatorname {prox} _{\gamma \|\cdot \|_{1}}(x)}[ 1 ] [ 6 ]​

مخططات التكرار ذات النقطة الثابتة

لحل مشكلة لاسو نهائياً، نأخذ في الاعتبار معادلة النقطة الثابتة الموضحة سابقاً:

x*=تقريبيγR⁡(x*-γ∇F(x*)).{\displaystyle x^{*}=\operatorname {prox} _{\gamma R}\left(x^{*}-\gamma \nabla F(x^{*})\right).}

بما أننا قد حسبنا شكل عامل التقارب بشكل صريح، فيمكننا تعريف إجراء تكراري قياسي للنقطة الثابتة. أي، تحديد قيمة ابتدائية معينة.w0∈Rد{\displaystyle w^{0}\in \mathbb {R} ^{d}}و لـك=1،2،...{\displaystyle k=1,2,\ldots }يُعرِّف

wك+1=Sγ(wك-γ∇F(wك)).{\displaystyle w^{k+1}=S_{\gamma }\left(w^{k}-\gamma \nabla F\left(w^{k}\right)\right).}

لاحظ هنا المقايضة الفعالة بين حد الخطأ التجريبيF(w){\displaystyle F(w)}وعقوبة التنظيمR(w){\displaystyle R(w)}لقد فصلت طريقة النقطة الثابتة هذه تأثير الدالتين المحدبتين المختلفتين اللتين تشكلان دالة الهدف في خطوة انحدار التدرج (wك-γ∇F(wك){\displaystyle w^{k}-\gamma \nabla F\left(w^{k}\right)}) وخطوة عتبة ناعمة (عبرSγ{\displaystyle S_{\gamma }}).

تمت دراسة تقارب مخطط النقطة الثابتة هذا بشكل جيد في الأدبيات [ 1 ] [ 6 ] وهو مضمون في ظل اختيار مناسب لحجم الخطوةγ{\displaystyle \gamma }ودالة الخسارة (مثل خسارة المربع المستخدمة هنا). وقد قدم نيستيروف في عام 1983 طرقًا معجلة تعمل على تحسين معدل التقارب في ظل افتراضات انتظام معينة.F{\displaystyle F}[ 7 ] دُرست هذه الأساليب على نطاق واسع في السنوات السابقة. [8 ] بالنسبة لمسائل التعلم الأكثر عمومية حيث لا يمكن حساب عامل التقارب بشكل صريح لبعض حدود التنظيمR{\displaystyle R}لا يزال من الممكن تنفيذ مخططات النقطة الثابتة هذه باستخدام تقريبات لكل من التدرج ومؤثر التقارب. [ 4 ] [ 9 ]

الاعتبارات العملية

شهدت تقنيات التحسين المحدب تطورات عديدة خلال العقد الماضي ، مما أثر على تطبيق أساليب التدرج التقريبي في نظرية التعلم الإحصائي. نستعرض هنا بعض المواضيع المهمة التي يمكن أن تُحسّن بشكل كبير الأداء الخوارزمي العملي لهذه الأساليب. [ 2 ] [ 10 ]

حجم الخطوة التكيفي

في مخطط التكرار ذي النقطة الثابتة

wك+1=تقريبيγR⁡(wك-γ∇F(wك))،{\displaystyle w^{k+1}=\operatorname {prox} _{\gamma R}\left(w^{k}-\gamma \nabla F\left(w^{k}\right)\right),}

يمكن السماح بحجم خطوة متغيرγك{\displaystyle \gamma _{k}}بدلاً من ثابتγ{\displaystyle \gamma }تم اقتراح العديد من مخططات حجم الخطوة التكيفية في الأدبيات. [ 1 ] [ 4 ] [ 11 ] [ 12 ] تشير تطبيقات هذه المخططات [ 2 ] [ 13 ] إلى أنها يمكن أن توفر تحسينًا كبيرًا في عدد التكرارات المطلوبة لتقارب النقطة الثابتة.

الشبكة المرنة (التنظيم المعياري المختلط)

يوفر تنظيم الشبكة المرنة بديلاً عن التنظيم النقيℓ1{\displaystyle \ell _{1}}التنظيم. مشكلة لاسو (ℓ1{\displaystyle \ell _{1}}تتضمن عملية التنظيم حد الجزاءR(w)=‖w‖1{\displaystyle R(w)=\|w\|_{1}}وهي ليست محدبة تمامًا. ومن ثم، فإن حلول المعادلةمينwF(w)+R(w)،{\displaystyle \min _{w}F(w)+R(w),}أينF{\displaystyle F}هي دالة خسارة تجريبية، وليست بالضرورة فريدة. وغالبًا ما يتم تجنب ذلك بإضافة حد محدب تمامًا، مثلℓ2{\displaystyle \ell _{2}}عقوبة تنظيم المعيار. على سبيل المثال، يمكن للمرء أن ينظر في المشكلة

مينw∈Rد1ن∑أنا=1ن(yأنا-⟨w،xأنا⟩)2+λ((1-μ)‖w‖1+μ‖w‖22)،{\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-\langle w,x_{i}\rangle )^{2}+\lambda \left((1-\mu )\|w\|_{1}+\mu \|w\|_{2}^{2}\right),}

أينxأنا∈Rد و yأنا∈R.{\displaystyle x_{i}\in \mathbb {R} ^{d}{\text{ and }}y_{i}\in \mathbb {R} .} ل0<μ≤1{\displaystyle 0<\mu \leq 1}مدة العقوبةλ((1-μ)‖w‖1+μ‖w‖22){\displaystyle \lambda \left((1-\mu )\|w\|_{1}+\mu \|w\|_{2}^{2}\right)}أصبحت الآن محدبة تمامًا، وبالتالي فإن مسألة التصغير تقبل الآن حلاً وحيدًا. وقد لوحظ أنه بالنسبة لقيم صغيرة بما فيه الكفايةμ>0{\displaystyle \mu >0}، العقوبة الإضافيةμ‖w‖22{\displaystyle \mu \|w\|_{2}^{2}}يعمل كعامل تهيئة مسبقة ويمكنه تحسين التقارب بشكل كبير دون التأثير سلبًا على ندرة الحلول. [ 2 ] [ 14 ]

استغلال بنية المجموعة

توفر طرق التدرج التقريبي إطارًا عامًا قابلًا للتطبيق على نطاق واسع من المشكلات في نظرية التعلم الإحصائي . غالبًا ما تتضمن بعض مشكلات التعلم بيانات ذات بنية إضافية معروفة مسبقًا . في السنوات القليلة الماضية، ظهرت تطورات جديدة تُدمج معلومات حول بنية المجموعة لتوفير طرق مصممة خصيصًا لتطبيقات مختلفة. نستعرض هنا بعضًا من هذه الطرق.

مجموعة لاسو

تُعدّ طريقة لاسو الجماعية تعميمًا لطريقة لاسو عندما يتم تجميع الميزات في كتل منفصلة. [ 15 ] لنفترض أن الميزات مُجمّعة في كتل{w1،...،wجي}{\displaystyle \{w_{1},\ldots ,w_{G}\}}نأخذ هنا عقوبة التنظيم

R(w)=∑ز=1جي‖wز‖2،{\displaystyle R(w)=\sum _{g=1}^{G}\|w_{g}\|_{2},}

وهو مجموعℓ2{\displaystyle \ell _{2}}يتم تطبيق المعيار على متجهات الميزات المتناظرة للمجموعات المختلفة. ويمكن استخدام تحليل عامل التقارب المماثل لما سبق لحساب عامل التقارب لهذه العقوبة. فبينما تعتمد عقوبة لاسو على عامل تقارب يُطبق عتبة ناعمة على كل مكون على حدة، فإن عامل التقارب في لاسو المجموعة يعتمد على عتبة ناعمة على كل مجموعة. بالنسبة للمجموعةwز{\displaystyle w_{g}}لدينا عامل التقارب هذا منλγ(∑ز=1جي‖wز‖2){\displaystyle \lambda \gamma \left(\sum _{g=1}^{G}\|w_{g}\|_{2}\right)}يُعطى بواسطة

S~λγ(wز)={wز-λγwز‖wز‖2،‖wز‖2>λγ0،‖wز‖2≤λγ{\displaystyle {\widetilde {S}}_{\lambda \gamma }(w_{g})={\begin{cases}w_{g}-\lambda \gamma {\frac {w_{g}}{\|w_{g}\|_{2}}},&\|w_{g}\|_{2}>\lambda \gamma \\0,&\|w_{g}\|_{2}\leq \lambda \gamma \end{cases}}}

أينwز{\displaystyle w_{g}}هوز{\displaystyle g}المجموعة الثالثة.

على عكس طريقة لاسو، يعتمد اشتقاق عامل التقارب في طريقة لاسو الجماعية على تحليل مورو . هنا، يصبح عامل التقارب لمرافق عقوبة لاسو الجماعية إسقاطًا على الكرة لمعيار ثنائي . [ 2 ]

هياكل جماعية أخرى

على عكس مشكلة تجميع البيانات في مجموعات منفصلة (Grow Grow Lasso)، حيث تُجمّع الميزات في كتل منفصلة، ​​قد تتداخل الميزات المُجمّعة أو يكون لها بنية متداخلة. وقد نُظِر في هذه التعميمات لتجميع البيانات في مجموعات في سياقات متنوعة. [ 16 ] [ 17 ] [ 18 ] [ 19 ] بالنسبة للمجموعات المتداخلة، يُعرف أحد الأساليب الشائعة باسم تجميع البيانات الكامن (Lasse) ، والذي يُدخل متغيرات كامنة لمراعاة التداخل. [ 20 ] [ 21 ] تُدرس هياكل المجموعات المتداخلة في التنبؤ بالبنية الهرمية ومع الرسوم البيانية الموجهة غير الدورية . [ 18 ]

انظر أيضاً

مراجع

  1. 1 2 3 4 5 6 7 8 9 كومبيتس، باتريك ل.؛ واجس، فاليري ر. (2005). "استعادة الإشارة عن طريق التقسيم الأمامي-الخلفي القريب". نمذجة ومحاكاة متعددة المقاييس. 4 ( 4): 1168-1200 . doi : 10.1137/050626090 . S2CID 15064954 . 
  2. 1 2 3 4 5 موسكي، س.؛ روساسكو، ل.؛ ماتيو، س.؛ فيري، أ.؛ فيلا، س. (2010). "حل مشكلة تنظيم التناثر الهيكلي باستخدام الطرق التقريبية". التعلم الآلي واكتشاف المعرفة في قواعد البيانات . سلسلة محاضرات في علوم الحاسوب. المجلد 6322. الصفحات 418-433 . doi : 10.1007/978-3-642-15883-4_27 . ISBN   978-3-642-15882-7.
  3. 1 2 مورو، ج.-ج. (1962). "Fonctions convexes Duales et Points proximaux dans un espace hilbertien". Comptes Rendus de l'Académie des Sciences، Série A . 255 : 2897 – 2899. ر 0144188 . زبل 0118.10502 .  
  4. 1 2 3 باوشكه، إتش إتش، وكومبيتس، بي إل (2011). التحليل المحدب ونظرية المؤثرات الرتيبة في فضاءات هيلبرت . سبرينغر.{{cite book}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  5. 1 2 تيبشيراني، ر. (1996). "انكماش الانحدار والاختيار عبر طريقة لاسو". مجلة الجمعية الملكية للإحصاء، السلسلة ب . 1. 58 (1): 267-288 . doi : 10.1111/j.2517-6161.1996.tb02080.x .
  6. 1 2 دوبيشيز، آي.؛ ديفريز، إم.؛ دي مول، سي. (2004). "خوارزمية عتبة تكرارية لمسألة عكسية خطية مع قيد التباعد". مجلة الاتصالات في الرياضيات البحتة والتطبيقية . 57 (11): 1413-1457 . arXiv : math/0307152 . doi : 10.1002/cpa.20042 . S2CID 1438417 . 
  7. ↑ نيستيروف، يوري (1983). "طريقة لحل مسألة برمجة محدبة بمعدل تقاربيا(1/ك2){\displaystyle O(1/k^{2})}". الرياضيات السوفيتية - دوكلادي . 27 (2): 372– 376.
  8. ↑ نيستروف، يوري (2004). محاضرات تمهيدية في التحسين المحدب . دار نشر كلوير الأكاديمية.
  9. ^ فيلا، س. سالزو، س. بالداسار، ل.؛ فيري، أ. (2013). “خوارزميات سريعة وغير دقيقة للأمام والخلف”. سيام جي أوبتيم . 23 (3): 1607-1633 . سايتسيركس 10.1.1.416.3633 . دوى : 10.1137/110844805 . S2CID 11379846 .  
  10. ↑ باخ، ف.؛ جيناتون، ر.؛ مايرال، ج.؛ أوبوزينسكي، غل. (2011). "التحسين باستخدام عقوبات تحفيز التباعد". أسس واتجاهات في تعلم الآلة . 4 (1): 1-106 . arXiv : 1108.0775 . Bibcode : 2011arXiv1108.0775B . doi : 10.1561/2200000015 . S2CID 56356708 . 
  11. ^ لوريس، آي. بيرتيرو، م. دي مول، C .؛ زانيلا، ر. زاني، ل. (2009). "تسريع طرق الإسقاط التدرج لℓ1{\displaystyle \ell _{1}}استعادة الإشارة المقيدة بقواعد اختيار طول الخطوة. التحليل التوافقي التطبيقي والحاسوبي . 27 (2): 247-254 . arXiv : 0902.4424 . doi : 10.1016/j.acha.2009.02.003 . S2CID 18093882 . 
  12. ↑ رايت، إس. جيه.؛ نواك، آر. دي.؛ فيغيريدو، إم. إيه. تي. (2009). "إعادة بناء الصور المتفرقة بالتقريب القابل للفصل". مجلة IEEE لمعالجة الصور . 57 (7): 2479-2493 . رمز Bibcode : 2009ITSP...57.2479W . CiteSeerX 10.1.1.115.9334 . doi : 10.1109/TSP.2009.2016892 . S2CID 7399917 .  
  13. ↑ لوريس، إغناس (2009). "حول أداء الخوارزميات لتقليلℓ1{\displaystyle \ell _{1}}الدوال المعاقبة. مسائل عكسية . 25 (3) 035008. arXiv : 0710.4082 . Bibcode : 2009InvPr..25c5008L . doi : 10.1088/0266-5611/25/3/035008 . S2CID 14213443 . 
  14. ^ دي مول، سي. دي فيتو، إي. روسكو، إل. (2009). “انتظام الشبكة المرنة في نظرية التعلم”. ي. التعقيد . 25 (2): 201– 230. أرخايف : 0807.3423 . دوى : 10.1016/j.jco.2009.01.002 . S2CID 7167292 . 
  15. ↑ يوان، م.؛ لين، ي. (2006). "اختيار النموذج وتقديره في الانحدار مع المتغيرات المجمعة" . مجلة الجمعية الملكية للإحصاء، السلسلة ب . 68 (1): 49-67 . doi : 10.1111/j.1467-9868.2005.00532.x . S2CID 6162124 . 
  16. ↑ تشين، إكس.؛ لين، كيو.؛ كيم، إس.؛ كاربونيل، جي جي؛ شينغ، إي بي (2012). "طريقة التدرج التقريبي المُنعّم للانحدار المتناثر الهيكلي العام". حوليات الإحصاء التطبيقي 6 (2): 719-752 . arXiv : 1005.4717 . doi : 10.1214/11-AOAS514 . S2CID 870800 . 
  17. ↑ موسكي، س.؛ فيلا، س.؛ فيري، أ.؛ روساسكو، ل. (2010). "خوارزمية ثنائية أولية للتنظيم المتفرق للمجموعات مع مجموعات متداخلة". NIPS . 23 : 2604-2612 .
  18. 1 2 جيناتون، ر.؛ أوديبير، ج.-ي.؛ باخ، ف. (2011). "اختيار المتغيرات المهيكلة باستخدام معايير تحفيز التباعد". مجلة أبحاث تعلم الآلة 12 : 2777-2824 . arXiv : 0904.3523 . Bibcode : 2009arXiv0904.3523J .
  19. ↑ تشاو، ب.؛ روشا، ج.؛ يو، ب. (2009). "عائلة العقوبات المطلقة المركبة لاختيار المتغيرات المجمعة والهرمية". حوليات الإحصاء 37 ( 6أ): 3468-3497 . arXiv : 0909.0411 . Bibcode : 2009arXiv0909.0411Z . doi : 10.1214/07-AOS584 . S2CID 9319285 . 
  20. ↑ أوبوزينسكي، غيوم؛ جاكوب، لوران؛ فيرت، جان فيليب (2011). "مجموعة لاسو مع التداخلات: نهج مجموعة لاسو الكامنة". arXiv : 1110.0413 [ stat.ML ].
  21. ↑ فيلا، سيلفيا؛ روساسكو، لورينزو؛ موسكي، صوفيا؛ فيري، أليساندرو (2012). "الأساليب التقريبية لعقوبة لاسو للمجموعة الكامنة". arXiv : 1209.0368 [ math.OC ].