التنظيم (الرياضيات)

يتوقف التدريب عندما يتدهور أداء التحقق، مما يمنع التجاوز في التدريب عن طريق التوقف قبل أن يحفظ النموذج بيانات التدريب. ^{[ 5 ]}

يضيف شروط جزائية إلى دالة التكلفة لتثبيط النماذج المعقدة:

• يؤدي تنظيم L1 (المعروف أيضًا باسم LASSO ) إلى نماذج متفرقة عن طريق إضافة عقوبة تعتمد على القيمة المطلقة للمعاملات.
• يشجع تنظيم L2 (المعروف أيضًا باسم انحدار ريدج ) على استخدام أوزان أصغر وأكثر توزيعًا بالتساوي عن طريق إضافة عقوبة تعتمد على مربع المعاملات. ^{[ 5 ]}

في سياق الشبكات العصبية، تتجاهل تقنية Dropout بشكل متكرر مجموعات فرعية عشوائية من الخلايا العصبية أثناء التدريب، مما يحاكي تدريب بنى شبكات عصبية متعددة في وقت واحد لتحسين التعميم. ^{[ 5 ]}

يمكن تبرير استخدام التنظيم كتقنية لتحسين قابلية تعميم النموذج المتعلم.

الهدف من هذه المسألة التعليمية هو إيجاد دالة تُطابق أو تتنبأ بالنتيجة (التصنيف) بحيث تُقلل الخطأ المتوقع لجميع المدخلات والتصنيفات الممكنة. الخطأ المتوقع للدالة${\displaystyle f_{n}}$يكون: $${\displaystyle I[f_{n}]=\int _{X\times Y}V(f_{n}(x),y)\rho (x,y)\,dx\,dy}$$ أين${\displaystyle X}$و${\displaystyle Y}$هي مجالات بيانات الإدخال${\displaystyle x}$وعلاماتهم التجارية${\displaystyle y}$على التوالى.

في مسائل التعلم، عادةً ما تتوفر مجموعة فرعية فقط من بيانات الإدخال والتصنيفات، ويتم قياسها مع بعض التشويش. لذلك، يكون الخطأ المتوقع غير قابل للقياس، وأفضل بديل متاح هو الخطأ التجريبي على مدى${\displaystyle N}$العينات المتوفرة: $${\displaystyle I_{S}[f_{n}]={\frac {1}{n}}\sum _{i=1}^{N}V(f_{n}({\hat {x}}_{i}),{\hat {y}}_{i})}$$ بدون وجود حدود لتعقيد فضاء الدالة (رسميًا، فضاء هيلبرت ذو النواة المُستنسخة )، سيتم تعلم نموذج لا يُسبب أي خسارة في الخطأ التجريبي البديل. إذا توفرت قياسات (مثل قياسات${\displaystyle x_{i}}$إذا تم إنشاء هذا النموذج باستخدام التشويش، فقد يعاني من فرط التخصيص ويُظهر خطأً متوقعًا ضعيفًا. يُضيف التنظيم عقوبةً لاستكشاف مناطق معينة من فضاء الدالة المستخدم في بناء النموذج، مما قد يُحسّن التعميم.

يمكن حل مشكلة التعلم باستخدام دالة خسارة المربعات الصغرى وتنظيم تيخونوف تحليليًا. ويُكتب الحل الأمثل في شكل مصفوفة.${\displaystyle w}$هو الذي يكون فيه تدرج دالة الخسارة بالنسبة إلى${\displaystyle w}$يساوي صفرًا. $${\displaystyle \min _{w}{\frac {1}{n}}\left({\hat {X}}wY\right)^{\mathsf {T}}\left({\hat {X}}wY\right)+\lambda \left\|w\right\|_{2}^{2}}$$$${\displaystyle \nabla _{w}={\frac {2}{n}}{\hat {X}}^{\mathsf {T}}\left({\hat {X}}wY\right)+2\lambda w}$$$${\displaystyle 0={\hat {X}}^{\mathsf {T}}\left({\hat {X}}wY\right)+n\lambda w}$$$${\displaystyle w=\left({\hat {X}}^{\mathsf {T}}{\hat {X}}+\lambda nI\right)^{-1}\left({\hat {X}}^{\mathsf {T}}Y\right)}$$ حيث أن العبارة الثالثة هي شرط من الدرجة الأولى .

من خلال بناء مسألة التحسين، يمكن الحصول على قيم أخرى لـ${\displaystyle w}$تعطي قيمًا أكبر لدالة الخسارة. ويمكن التحقق من ذلك بفحص المشتقة الثانية.${\displaystyle \nabla _{ww}}$.

أثناء التدريب، تأخذ هذه الخوارزمية${\displaystyle O(d^{3}+nd^{2})}$الزمن . تتوافق المصطلحات مع عملية عكس المصفوفة وحسابها.${\displaystyle X^{\mathsf {T}}X}$على التوالي. يستغرق الاختبار${\displaystyle O(nd)}$وقت.

لنفترض التقريب المحدود لمتسلسلة نيومان لمصفوفة قابلة للعكس A حيث${\displaystyle \left\|IA\right\|<1}$: $${\displaystyle \sum _{i=0}^{T-1}\left(IA\right)^{i}\approx A^{-1}}$$

يمكن استخدام هذا لتقريب الحل التحليلي للمربعات الصغرى غير المنتظمة، إذا تم إدخال γ لضمان أن يكون المعيار أقل من واحد. $${\displaystyle w_{T}={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}}$$

يُقلل الحل الدقيق لمسألة التعلم باستخدام المربعات الصغرى غير المنتظمة من الخطأ التجريبي، ولكنه قد لا ينجح. بتقييد T ، وهو المعامل الحر الوحيد في الخوارزمية المذكورة أعلاه، يتم تنظيم المسألة زمنيًا، مما قد يُحسّن من تعميمها.

تُعادل الخوارزمية المذكورة أعلاه تقييد عدد تكرارات انحدار التدرج للمخاطرة التجريبية $${\displaystyle I_{s}[w]={\frac {1}{2n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|_{\mathbb {R} ^{n}}^{2}}$$ مع تحديث خوارزمية التدرج الهبوطي: $${\displaystyle {\begin{aligned}w_{0}&=0\\[1ex]w_{t+1}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)w_{t}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}$$

الحالة الأساسية بديهية. أما الحالة الاستقرائية فقد تم إثباتها على النحو التالي: $$\begin{aligned}w_{T}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right){\frac {\gamma }{n}}\sum _{i=0}^{T-2}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=1}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}$$

بينما${\displaystyle L_{1}}$لا ينتج عن المعيار مشكلة صعبة من نوع NP،${\displaystyle L_{1}}$المعيار محدب ولكنه غير قابل للتفاضل تمامًا بسبب وجود نقطة انعطاف عند x = 0. ويمكن استخدام طرق التدرج الفرعي التي تعتمد على المشتقة الفرعية لحل المسألة.${\displaystyle L_{1}}$مشاكل التعلم المنتظم. ومع ذلك، يمكن تحقيق تقارب أسرع من خلال الطرق التقريبية.

لحل مشكلة${\displaystyle \min _{w\in H}F(w)+R(w)}$بحيث${\displaystyle F}$هي دالة محدبة، متصلة، قابلة للتفاضل، ذات تدرج متصل وفقًا لشرط ليبشيتز (مثل دالة خسارة المربعات الصغرى)، و${\displaystyle R}$إذا كانت الدالة محدبة ومتصلة ومناسبة، فإن طريقة التقريب لحل المسألة تكون كما يلي. أولاً، نُعرّف المؤثر التقريبي .$${\displaystyle \operatorname {prox} _{R}(v)=\mathop {\operatorname {argmin} } _{w\in \mathbb {R} ^{D}}\left\{R(w)+{\frac {1}{2}}\left\|w-v\right\|^{2}\right\},}$$ ثم كرر العملية $${\displaystyle w_{k+1}=\mathop {\operatorname {prox} } _{\gamma ,R}\left(w_{k}-\gamma \nabla F(w_{k})\right)}$$

تُجري الطريقة التقريبية عملية هبوط التدرج بشكل تكراري، ثم تُسقط النتيجة مرة أخرى في المساحة المسموح بها بواسطة${\displaystyle R}$.

متى${\displaystyle R}$هو منظم L1 _، والمؤثر التقريبي مكافئ لمؤثر العتبة الناعمة. $${\displaystyle S_{\lambda }(v)f(n)={\begin{cases}v_{i}-\lambda ,&{\text{if }}v_{i}>\lambda \\0,&{\text{if }}v_{i}\in [-\lambda ,\lambda ]\\v_{i}+\lambda ,&{\text{if }}v_{i}<-\lambda \end{cases}}}$$

وهذا يسمح بإجراء حسابات فعالة.

يمكن تنظيم مجموعات الميزات بواسطة قيد التباعد، والذي يمكن أن يكون مفيدًا للتعبير عن معرفة مسبقة معينة في مشكلة تحسين.

في حالة النموذج الخطي ذي المجموعات المعروفة غير المتداخلة، يمكن تعريف مُنظِّم: $${\displaystyle R(w)=\sum _{g=1}^{G}\left\|w_{g}\right\|_{2},}$$أين$${\displaystyle \|w_{g}\|_{2}={\sqrt {\sum _{j=1}^{|G_{g}|}\left(w_{g}^{j}\right)^{2}}}}$$

يمكن اعتبار هذا بمثابة إدخال مُنظِّم على${\displaystyle L_{2}}$المعيار على أعضاء كل مجموعة متبوعًا بـ${\displaystyle L_{1}}$المعيار فوق المجموعات.

يمكن حل هذه المشكلة باستخدام الطريقة التقريبية، حيث يكون عامل التقريب عبارة عن دالة عتبة ناعمة على مستوى الكتلة:

$${\displaystyle \operatorname {prox} \limits _{\lambda ,R,g}(w_{g})={\begin{cases}\left(1-{\dfrac {\lambda }{\left\|w_{g}\right\|_{2}}}\right)w_{g},&{\text{if }}\left\|w_{g}\right\|_{2}>\lambda \\[1ex]0,&{\text{if }}\|w_{g}\|_{2}\leq \lambda \end{cases}}}$$

يمكن تطبيق الخوارزمية الموصوفة لتوزيع المجموعات المتباعدة دون تداخل على حالة تداخل المجموعات، في بعض الحالات. ومن المرجح أن ينتج عن ذلك بعض المجموعات التي تحتوي على جميع عناصرها على أصفار، ومجموعات أخرى تحتوي على بعض العناصر غير الصفرية وبعض العناصر الصفرية.

إذا رغبنا في الحفاظ على بنية المجموعة، فيمكن تعريف مُنظِّم جديد: $${\displaystyle R(w)=\inf \left\{\sum _{g=1}^{G}\|w_{g}\|_{2}:w=\sum _{g=1}^{G}{\bar {w}}_{g}\right\}}$$

لكل${\displaystyle w_{g}}$،${\displaystyle {\bar {w}}_{g}}$يُعرَّف بأنه المتجه الذي يكون فيه تقييد${\displaystyle {\bar {w}}_{g}}$إلى المجموعة${\displaystyle g}$يساوي${\displaystyle w_{g}}$وجميع الإدخالات الأخرى لـ${\displaystyle {\bar {w}}_{g}}$تساوي صفرًا. يجد المنظم التفكك الأمثل لـ${\displaystyle w}$إلى أجزاء. يمكن اعتبارها تكرارًا لجميع العناصر الموجودة في مجموعات متعددة. يمكن أيضًا حل مشاكل التعلم باستخدام هذا المنظم مع طريقة التقريب، ولكن مع وجود تعقيد. لا يمكن حساب عامل التقريب بصيغة مغلقة، ولكن يمكن حله بفعالية بشكل تكراري، مما يؤدي إلى تكرار داخلي ضمن تكرار طريقة التقريب.

$${\displaystyle R(w)=\sum _{i=1}^{D}\left\|W\right\|_{2,1}}$$

يُعرّف هذا المُنظِّم معيار L2 على كل عمود ومعيار L1 على جميع الأعمدة. ويمكن حله باستخدام الطرق التقريبية.

$${\displaystyle R(w)=\left\|\sigma (W)\right\|_{1}}$$أين${\displaystyle \sigma (W)}$هي القيم الذاتية في تحليل القيم المفردة لـ${\displaystyle W}$.

$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{t=1}^{T}\left\|f_{t}-{\frac {1}{T}}\sum _{s=1}^{T}f_{s}\right\|_{H_{k}}^{2}}$$

يُقيّد هذا المُنظِّم الدوال المُستخلصة لكل مهمة لتكون مُشابهة للمتوسط ​​العام للدوال في جميع المهام. يُفيد هذا في التعبير عن المعلومات المُسبقة التي يُتوقع أن تتشاركها كل مهمة مع المهام الأخرى. مثال على ذلك هو التنبؤ بمستويات الحديد في الدم المُقاسة في أوقات مُختلفة من اليوم، حيث تُمثل كل مهمة فرداً.

$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{r=1}^{C}\sum _{t\in I(r)}\left\|f_{t}-{\frac {1}{I(r)}}\sum _{s\in I(r)}f_{s}\right\|_{H_{k}}^{2}}$$أين${\displaystyle I(r)}$هي مجموعة من المهام.

يشبه هذا المُنظِّم المُنظِّم المُقيد بالمتوسط، ولكنه يُفرض التشابه بين المهام داخل المجموعة نفسها. وهذا يُتيح استيعاب معلومات مسبقة أكثر تعقيدًا. وقد استُخدمت هذه التقنية للتنبؤ بتوصيات نتفليكس . وتُمثل المجموعة مجموعة من الأشخاص الذين يتشاركون تفضيلات مُتشابهة.

بشكل أعم مما سبق، يمكن تعريف التشابه بين المهام بواسطة دالة. ويشجع المُنظِّم النموذج على تعلم دوال متشابهة لمهام متشابهة. $${\displaystyle R(f_{1}\cdots f_{T})=\sum _{t,s=1,t\neq s}^{\mathsf {T}}\left\|f_{t}-f_{s}\right\|^{2}M_{ts}}$$لمصفوفة تشابه متناظرة معينة${\displaystyle M}$.