تنظيم التناثر المنظم

لنفترض مسألة تقليل المخاطر التجريبية المنتظمة باستخدام النواة الخطية مع دالة خسارة${\displaystyle V(y_{i},f(x))}$ و${\displaystyle \ell _{0}}$"المعيار" كعقوبة للتنظيم:

${\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},\langle w,x_{i}\rangle )+\lambda \|w\|_{0},}$

أين${\displaystyle x,w\in \mathbb {R^{d}} }$، و${\displaystyle \|w\|_{0}}$يشير إلى${\displaystyle \ell _{0}}$"المعيار"، الذي يُعرَّف بأنه عدد العناصر غير الصفرية في المتجه${\displaystyle w}$.${\displaystyle f(x)=\langle w,x_{i}\rangle }$ يُقال إنها متفرقة إذا${\displaystyle \|w\|_{0}=s<d}$وهذا يعني أن الناتج${\displaystyle Y}$يمكن وصفها بمجموعة فرعية صغيرة من متغيرات الإدخال.

بشكل عام، افترض وجود قاموس${\displaystyle \phi _{j}:X\rightarrow \mathbb {R} }$مع${\displaystyle j=1,...,p}$ يتم إعطاء الدالة المستهدفة، بحيث${\displaystyle f(x)}$يمكن كتابة مشكلة التعلم على النحو التالي:

${\displaystyle f(x)=\sum _{j=1}^{p}\phi _{j}(x)w_{j}}$،${\displaystyle \forall x\in X}$

ال${\displaystyle \ell _{0}}$معيار${\displaystyle \|f\|_{0}=\|w\|_{0}}$ عدد المكونات غير الصفرية لـ${\displaystyle w}$يُعرَّف بأنه

${\displaystyle \|w\|_{0}=|\{j|w_{j}\neq 0,j\in \{1,...,p\}\}|}$، أين${\displaystyle |A|}$عدد عناصر المجموعة${\displaystyle A}$.

${\displaystyle f}$يُقال إنها متفرقة إذا${\displaystyle \|f\|_{0}=\|w\|_{0}=s<d}$.

لكن أثناء استخدام${\displaystyle \ell _{0}}$يُفضّل معيار التنظيم الحلول الأقل كثافة، ولكنه صعب الاستخدام حسابيًا، بالإضافة إلى أنه ليس محدبًا. أما المعيار الأكثر جدوى حسابيًا والذي يُفضّل الحلول الأقل كثافة فهو...${\displaystyle \ell _{1}}$المعيار؛ وقد ثبت أن هذا لا يزال يفضل الحلول الأقل كثافة وهو محدب بالإضافة إلى ذلك. ^{[ 4 ]}

يُوسّع تنظيم التناثر المُهيكل ويُعمّم مشكلة اختيار المتغيرات التي تُميّز تنظيم التناثر. ^{[ 2 ] [ 3 ]} لنأخذ في الاعتبار مشكلة تقليل المخاطر التجريبية المُنتظمة المذكورة أعلاه مع نواة عامة وخريطة ميزات مُرتبطة بها.${\displaystyle \phi _{j}:X\rightarrow \mathbb {R} }$مع${\displaystyle j=1,...,p}$.

${\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},\langle w,\Phi (x_{i})\rangle )+\lambda \|w\|_{0},}$

مصطلح التنظيم${\displaystyle \lambda \|w\|_{0}}$يعاقب كل${\displaystyle w_{j}}$بشكل مستقل عن المكونات، مما يعني أن الخوارزمية ستقوم بكبح متغيرات الإدخال بشكل مستقل عن بعضها البعض.

في العديد من الحالات، قد نرغب في فرض مزيد من التنظيم على عملية التنظيم، بحيث يتم، على سبيل المثال، كبح متغيرات الإدخال وفقًا لمجموعات محددة مسبقًا. تسمح طرق تنظيم التناثر المنظم بفرض هذا التنظيم عن طريق إضافة بنية إلى المعايير التي تحدد مصطلح التنظيم.

تُعد حالة المجموعة غير المتداخلة أبسط مثال على التناثر المنظم. وفيها، يتم تقسيم متجه المعاملات مسبقًا.${\displaystyle w}$في${\displaystyle G}$يُفترض وجود مجموعات غير متداخلة.${\displaystyle w_{g}}$ليكن متجه المعاملات في المجموعة${\displaystyle g}$يمكننا تعريف مصطلح التنظيم ومعياره الجماعي على النحو التالي:

${\displaystyle \lambda R(w)=\lambda \sum _{g=1}^{G}\|w_{g}\|_{g}}$،

أين${\displaystyle \|w_{g}\|_{g}}$هي المجموعة${\displaystyle \ell _{2}}$معيار${\displaystyle \|w_{g}\|_{g}={\sqrt {\sum _{j=1}^{|G_{g}|}(w_{g}^{j})^{2}}}}$، ${\displaystyle G_{g}}$هي مجموعة${\displaystyle g}$، و${\displaystyle w_{g}^{j}}$هو المكون j من المجموعة${\displaystyle G_{g}}$.

يُشار إلى المعيار المذكور أعلاه أيضًا باسم "مجموعة لاسو" . ^{[ 2 ]} يعمل هذا المُنظِّم على تقريب مجموعات المعاملات بأكملها إلى الصفر، بدلاً من المعاملات الفردية. ولأن المجموعات غير متداخلة، يمكن الحصول على مجموعة المعاملات غير الصفرية كاتحاد للمجموعات التي لم تُعيَّن إلى الصفر، والعكس صحيح بالنسبة لمجموعة المعاملات الصفرية.

تُعدّ المجموعات المتداخلة حالة من حالات التباين الهيكلي حيث يمكن أن ينتمي متغير إلى أكثر من مجموعة واحدة${\displaystyle g}$غالباً ما تكون هذه الحالة ذات أهمية لأنها قد تمثل فئة أعم من العلاقات بين المتغيرات مقارنةً بالمجموعات غير المتداخلة، مثل هياكل الأشجار أو أنواع أخرى من الرسوم البيانية. ^{[ 3 ] [ 8 ]}

هناك نوعان من أساليب تنظيم التباعد الجماعي المتداخل، والتي تُستخدم لنمذجة أنواع مختلفة من علاقات متغيرات الإدخال:

تتكون دالة الهدف باستخدام طريقة لاسو الجماعية من دالة خطأ ، والتي يُشترط عمومًا أن تكون محدبة ولكن ليس بالضرورة محدبة بقوة، ومجموعة${\displaystyle \ell _{1}}$مصطلح التنظيم. تكمن إحدى مشكلات دالة الهدف هذه في أنها محدبة ولكن ليس بالضرورة محدبة بقوة، وبالتالي لا تؤدي عمومًا إلى حلول فريدة. ^{[ 9 ]}

ومن الأمثلة على طرق إصلاح ذلك إدخال المربع${\displaystyle \ell _{2}}$معيار متجه الوزن كحد تنظيم إضافي مع الحفاظ على${\displaystyle \ell _{1}}$مصطلح التنظيم من نهج لاسو الجماعي. ^{[ 9 ]} إذا كان معامل المربع ${\displaystyle \ell _{2}}$الحد المعياري أكبر من${\displaystyle 0}$ثم لأن المربع ${\displaystyle \ell _{2}}$إذا كان حد المعيار محدبًا بشدة، فإن دالة الهدف الناتجة ستكون محدبة بشدة أيضًا. ^{[ 9 ]} بشرط أن ${\displaystyle \ell _{2}}$إذا كان المعامل صغيرًا بشكل مناسب ولكنه لا يزال موجبًا، فإن متجه الوزن الذي يقلل دالة الهدف الناتجة يكون عادةً قريبًا جدًا من متجه الوزن الذي يقلل دالة الهدف التي ستنتج عن إزالة المجموعة ${\displaystyle \ell _{2}}$يُستثنى مصطلح التنظيم تمامًا من دالة الهدف الأصلية؛ ويتوافق هذا السيناريو الأخير مع أسلوب لاسو الجماعي. ^{[ 9 ]} وبالتالي، يسمح هذا الأسلوب بتحسين أبسط مع الحفاظ على التباعد. ^{[ 9 ]}

انظر: دالة المجموعة شبه المعيارية

إلى جانب المعايير المذكورة أعلاه، تشمل المعايير الأخرى المستخدمة في أساليب التخفيف الهيكلي المعايير الهرمية والمعايير المعرفة على الشبكات. تنشأ هذه المعايير من الدوال شبه المعيارية، وتسمح بإدراج افتراضات مسبقة حول بنية متغيرات الإدخال. في سياق المعايير الهرمية، يمكن تمثيل هذه البنية كرسم بياني موجه غير دوري على المتغيرات، بينما في سياق المعايير القائمة على الشبكة، يمكن تمثيل البنية باستخدام شبكة. ^{[ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ]}

يمكن صياغة مشكلة اختيار أفضل مجموعة فرعية من متغيرات الإدخال بشكل طبيعي في إطار الجزاء على النحو التالي: ^{[ 4 ]}

${\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},w,x_{i})+\lambda \|w\|_{0},}$

أين${\displaystyle \|w\|_{0}}$يشير إلى${\displaystyle \ell _{0}}$"المعيار"، الذي يُعرَّف بأنه عدد العناصر غير الصفرية في المتجه${\displaystyle w}$.

على الرغم من أن هذه الصياغة منطقية من منظور النمذجة، إلا أنها غير قابلة للتطبيق حسابيًا، لأنها تعادل بحثًا شاملاً لتقييم جميع المجموعات الفرعية الممكنة من المتغيرات. ^{[ 4 ]}

هناك نهجان رئيسيان لحل مشكلة التحسين وهما: 1) الطرق الجشعة، مثل الانحدار التدريجي في الإحصاء، أو البحث المطابق في معالجة الإشارات ؛ و2) أساليب صياغة الاسترخاء المحدب وطرق تحسين التدرج التقريبي .

يُعدّ التقريب الطبيعي لمشكلة اختيار أفضل مجموعة فرعية هو${\displaystyle \ell _{1}}$تنظيم المعيار: ^{[ 4 ]}

${\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},w,x_{i})+\lambda \|w\|_{1}}$

يُطلق على هذا المخطط اسم " المطاردة الأساسية" أو "اللاسو" ، وهو بديل عن${\displaystyle \ell _{0}}$"المعيار" للمحدب وغير القابل للتفاضل${\displaystyle \ell _{1}}$معيار.

طرق التدرج التقريبي ، والتي تسمى أيضًا تقسيم الأمام والخلف، هي طرق تحسين مفيدة لتقليل الدوال ذات المكون المحدب والقابل للتفاضل ، والمكون المحدب الذي يحتمل أن يكون غير قابل للتفاضل.

وبالتالي، فإن طرق التدرج التقريبي مفيدة لحل مشاكل التباعد وتنظيم التباعد المنظم ^{[ 9 ]} بالشكل التالي:

${\displaystyle \min _{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},w,x_{i})+R(w)}$

أين${\displaystyle V(y_{i},w,x_{i})}$هي دالة خسارة محدبة وقابلة للتفاضل مثل دالة الخسارة التربيعية ، و${\displaystyle R(w)}$هو مُنظِّم محدب غير قابل للتفاضل مثل${\displaystyle \ell _{1}}$معيار.

يمكن تطبيق تنظيم التباعد المنظم في سياق تعلم النوى المتعددة . ^{[ 16 ]} يشير تعلم النوى المتعددة إلى مجموعة من أساليب التعلم الآلي التي تستخدم مجموعة محددة مسبقًا من النوى وتتعلم توليفة خطية أو غير خطية مثلى من النوى كجزء من الخوارزمية.

في الخوارزميات المذكورة أعلاه، تم أخذ الفضاء بأكمله في الاعتبار دفعة واحدة وتقسيمه إلى مجموعات، أي فضاءات فرعية. ومن منظور مكمل، يمكن النظر في حالة دمج فضاءات مختلفة للحصول على فضاء جديد. من المفيد مناقشة هذه الفكرة باستخدام القواميس المحدودة. تشير القواميس المحدودة ذات العناصر المستقلة خطيًا - والمعروفة أيضًا بالذرات - إلى مجموعات محدودة من دوال الأساس المستقلة خطيًا، والتي تحدد تركيباتها الخطية فضاءات الفرضيات. يمكن استخدام القواميس المحدودة لتعريف نوى محددة، كما سيتبين لاحقًا. ^{[ 16 ]} لنفترض في هذا المثال أنه بدلًا من قاموس واحد فقط، يتم النظر في عدة قواميس محدودة.

لتبسيط الأمر، الحالة التي يوجد فيها قاموسان فقط${\displaystyle A=\{a_{j}:X\rightarrow \mathbb {R} ,j=1,...,p\}}$و${\displaystyle B=\{b_{t}:X\rightarrow \mathbb {R} ,t=1,...,q\}}$أين${\displaystyle q}$و${\displaystyle p}$إذا كانت أعدادًا صحيحة، فسيتم أخذها في الاعتبار. الذرات في${\displaystyle A}$وكذلك الذرات في${\displaystyle B}$يُفترض أن المتغيرات مستقلة خطيًا.${\displaystyle D=\{d_{k}:X\rightarrow \mathbb {R} ,k=1,...,p+q\}=A\cup B}$ليكن اتحاد القاموسين. لنعتبر الفضاء الخطي للدوال${\displaystyle H}$معطاة بتراكيب خطية من الشكل

${\displaystyle f(x)=\sum _{i=1}^{p+q}{w^{j}d_{j}(x)}=\sum _{j=1}^{p}{w_{A}^{j}a_{j}(x)}+\sum _{t=1}^{q}{w_{B}^{t}b_{t}(x)},x\in X}$

بالنسبة لبعض متجهات المعاملات${\displaystyle w_{A}\in \mathbb {R} ^{p},w_{B}\in \mathbb {R} ^{q}}$، أين${\displaystyle w=(w_{A},w_{B})}$افترض أن الذرات في${\displaystyle D}$أن تظل مستقلة خطيًا، أو بعبارة أخرى، أن الخريطة${\displaystyle w=(w_{A},w_{B})\mapsto f}$هي علاقة واحد لواحد. الوظائف في الفضاء${\displaystyle H}$يمكن اعتبارها مجموع مكونين، أحدهما في الفضاء${\displaystyle H_{A}}$، التركيبات الخطية للذرات في ${\displaystyle A}$وواحد في${\displaystyle H_{B}}$، التركيبات الخطية للذرات في${\displaystyle B}$.

أحد الخيارات المتاحة في هذا المجال هو${\displaystyle ||f||=||w_{A}||+||w_{B}||}$لاحظ أنه يمكننا الآن عرض${\displaystyle H}$كمساحة دالة حيث ${\displaystyle H_{A}}$، ${\displaystyle H_{B}}$هي فضاءات جزئية. في ضوء فرضية الاستقلال الخطي،${\displaystyle H}$يمكن التعرف عليها من خلال${\displaystyle \mathbb {R} ^{p+q}}$و${\displaystyle H_{A},H_{B}}$مع${\displaystyle \mathbb {R} ^{p},\mathbb {R} ^{q}}$على التوالي. يمكن اعتبار المعيار المذكور أعلاه معيارًا جماعيًا في ${\displaystyle H}$المرتبطة بالفضاءات الفرعية ${\displaystyle H_{A}}$، ${\displaystyle H_{B}}$، مما يوفر اتصالاً بتنظيم التباعد المنظم.

هنا،${\displaystyle H_{A}}$، ${\displaystyle H_{B}}$و${\displaystyle H}$يمكن اعتبارها فضاءات هيلبرت ذات النواة المُستنسخة مع خرائط الميزات المقابلة.${\displaystyle \Phi _{A}:X\rightarrow \mathbb {R} ^{p}}$، مقدمة من${\displaystyle \Phi _{A}(x)=(a_{1}(x),...,a_{p}(x))}$،${\displaystyle \Phi _{B}:X\rightarrow \mathbb {R} ^{q}}$، مقدمة من${\displaystyle \Phi _{B}(x)=(b_{1}(x),...,b_{q}(x))}$، و${\displaystyle \Phi :X\rightarrow \mathbb {R} ^{p+q}}$، والتي يتم الحصول عليها من خلال تسلسل${\displaystyle \Phi _{A},\Phi _{B}}$، على التوالى.

في نهج التنظيم الهيكلي للتباعد في هذا السيناريو، تتوافق مجموعات المتغيرات ذات الصلة التي تأخذها معايير المجموعة في الاعتبار مع الفضاءات الفرعية.${\displaystyle H_{A}}$و${\displaystyle H_{B}}$. يشجع هذا النهج على ضبط مجموعات المعاملات المقابلة لهذه الفضاءات الفرعية على الصفر بدلاً من المعاملات الفردية فقط، مما يعزز تعلم النواة المتعددة المتفرقة.

يمكن تعميم المنطق المذكور أعلاه مباشرةً على أي عدد محدود من القواميس أو خرائط الميزات. ويمكن توسيعه ليشمل خرائط الميزات التي تؤدي إلى فرضيات ذات أبعاد لا نهائية.

[ ^{16 ]​}