إشراف ضعيف

النقاط المتقاربة أكثر عرضةً لأن تشترك في نفس التصنيف. وهذا ما يُفترض عمومًا في التعلّم الخاضع للإشراف، ويؤدي إلى تفضيل حدود القرار البسيطة هندسيًا . في حالة التعلّم شبه الخاضع للإشراف، يُفضّل افتراض السلاسة أيضًا حدود القرار في المناطق منخفضة الكثافة، لذا فإن عددًا قليلًا من النقاط يكون متقاربًا ولكنه ينتمي إلى فئات مختلفة. ^{[ 3 ]}

تميل البيانات إلى تشكيل مجموعات منفصلة، ​​ومن المرجح أن تشترك النقاط في المجموعة نفسها في تصنيف واحد (مع أن البيانات التي تشترك في تصنيف واحد قد تنتشر عبر مجموعات متعددة). هذه حالة خاصة من فرضية السلاسة، وهي التي تُتيح تعلم الميزات باستخدام خوارزميات التجميع.

تقع البيانات تقريبًا على سطح متعدد الأبعاد ذي أبعاد أقل بكثير من فضاء الإدخال. في هذه الحالة، يمكن تجنب مشكلة الأبعاد العالية من خلال تعلم السطح المتعدد الأبعاد باستخدام البيانات المصنفة وغير المصنفة . بعد ذلك، يمكن استكمال عملية التعلم باستخدام المسافات والكثافات المعرفة على السطح المتعدد الأبعاد.

يُعدّ افتراض التشعب عمليًا عند توليد بيانات عالية الأبعاد بواسطة عملية يصعب نمذجتها مباشرةً، ولكنها لا تملك سوى عدد قليل من درجات الحرية. على سبيل المثال، يتحكم عدد قليل من الأحبال الصوتية في الصوت البشري، ^{[ 4 ]} وتتحكم عضلات قليلة في صور تعابير الوجه المختلفة. في هذه الحالات، من الأفضل مراعاة المسافات والنعومة في الفضاء الطبيعي للمسألة المولدة، بدلًا من فضاء جميع الموجات الصوتية أو الصور الممكنة، على التوالي.

تسعى المناهج التوليدية للتعلم الإحصائي أولاً إلى تقدير${\displaystyle p(x|y)}$، توزيع نقاط البيانات التي تنتمي إلى كل فئة. الاحتمالية${\displaystyle p(y|x)}$أن نقطة معينة${\displaystyle x}$يحتوي على ملصق${\displaystyle y}$ثم يتناسب مع${\displaystyle p(x|y)p(y)}$وفقًا لقاعدة بايز . يمكن النظر إلى التعلم شبه الموجه باستخدام النماذج التوليدية إما كامتداد للتعلم الموجه (التصنيف بالإضافة إلى معلومات حول${\displaystyle p(x)}$) أو كامتداد للتعلم غير الخاضع للإشراف (التجميع بالإضافة إلى بعض التصنيفات).

تفترض النماذج التوليدية أن التوزيعات تأخذ شكلاً معيناً.${\displaystyle p(x|y,\theta )}$يتم تحديد المعلمات بواسطة المتجه${\displaystyle \theta }$إذا كانت هذه الافتراضات غير صحيحة، فقد تؤدي البيانات غير المصنفة إلى تقليل دقة الحل مقارنةً بما كان سيتم الحصول عليه من البيانات المصنفة وحدها. ^{[ 8 ]} أما إذا كانت الافتراضات صحيحة، فإن البيانات غير المصنفة تُحسّن الأداء بالضرورة. ^{[ 7 ]}

تُوزَّع البيانات غير المصنفة وفقًا لمزيج من توزيعات الفئات الفردية. ولتعلم توزيع المزيج من البيانات غير المصنفة، يجب أن يكون قابلاً للتحديد، أي أن المعلمات المختلفة يجب أن تُنتج توزيعات مجموع مختلفة. تُعد توزيعات المزيج الغاوسي قابلة للتحديد، وتُستخدم عادةً في النماذج التوليدية.

يمكن كتابة التوزيع المشترك المُعَلم على النحو التالي:${\displaystyle p(x,y|\theta )=p(y|\theta )p(x|y,\theta )}$باستخدام قاعدة السلسلة . كل متجه معلمات${\displaystyle \theta }$يرتبط بوظيفة اتخاذ القرار${\displaystyle f_{\theta }(x)={\underset {y}{\operatorname {argmax} }}\ p(y|x,\theta )}$ثم يتم اختيار المعلمة بناءً على مدى ملاءمتها لكل من البيانات المصنفة وغير المصنفة، مع ترجيحها بواسطة${\displaystyle \lambda }$:

${\displaystyle {\underset {\Theta }{\operatorname {argmax} }}\left(\log p(\{x_{i},y_{i}\}_{i=1}^{l}|\theta )+\lambda \log p(\{x_{i}\}_{i=l+1}^{l+u}|\theta )\right)}$^{[ 9 ]}

هناك فئة رئيسية أخرى من الأساليب تسعى إلى وضع حدود في المناطق ذات البيانات القليلة (سواءً كانت مصنفة أو غير مصنفة). ومن أكثر الخوارزميات شيوعًا آلة المتجهات الداعمة الاستقرائية (TSVM)، والتي، على الرغم من اسمها، يمكن استخدامها أيضًا في التعلم الاستقرائي. فبينما تسعى آلات المتجهات الداعمة للتعلم الخاضع للإشراف إلى إيجاد حد فاصل ذي هامش أقصى على البيانات المصنفة، فإن هدف TSVM هو تصنيف البيانات غير المصنفة بحيث يكون للحد الفاصل هامش أقصى على جميع البيانات. بالإضافة إلى دالة الخسارة المفصلية القياسية.${\displaystyle (1-yf(x))_{+}}$بالنسبة للبيانات المصنفة، دالة الخسارة${\displaystyle (1-|f(x)|)_{+}}$يتم تطبيقها على البيانات غير المصنفة عن طريق السماح${\displaystyle y=\operatorname {sign} {f(x)}}$ثم يقوم TSVM بالاختيار${\displaystyle f^{*}(x)=h^{*}(x)+b}$من فضاء هيلبرت ذي النواة المُستنسخة${\displaystyle {\mathcal {H}}}$عن طريق تقليل المخاطر التجريبية المنتظمة :

${\displaystyle f^{*}={\underset {f}{\operatorname {argmin} }}\left(\displaystyle \sum _{i=1}^{l}(1-y_{i}f(x_{i}))_{+}+\lambda _{1}\|h\|_{\mathcal {H}}^{2}+\lambda _{2}\sum _{i=l+1}^{l+u}(1-|f(x_{i})|)_{+}\right)}$

إن إيجاد حل دقيق أمر غير ممكن بسبب الحد غير المحدب${\displaystyle (1-|f(x)|)_{+}}$لذلك يركز البحث على التقريبات المفيدة. ^{[ 9 ]}

وتشمل الأساليب الأخرى التي تطبق الفصل منخفض الكثافة نماذج العمليات الغاوسية، وتنظيم المعلومات، وتقليل الإنتروبيا (والتي تعتبر TSVM حالة خاصة منها).

لطالما تمّت معالجة تنظيم لابلاس تاريخيًا من خلال لابلاس الرسم البياني. تستخدم الطرق القائمة على الرسوم البيانية للتعلم شبه الموجّه تمثيلًا بيانيًا للبيانات، مع وجود عقدة لكل مثال مصنّف وغير مصنّف. يمكن إنشاء الرسم البياني باستخدام المعرفة بالمجال أو تشابه الأمثلة؛ ومن الطرق الشائعة ربط كل نقطة بيانات بـ${\displaystyle k}$أقرب الجيران أو أمثلة ضمن مسافة معينة${\displaystyle \epsilon }$الوزن${\displaystyle W_{ij}}$من حافة بين${\displaystyle x_{i}}$و${\displaystyle x_{j}}$ثم يتم ضبطه على${\displaystyle e^{-\|x_{i}-x_{j}\|^{2}/\epsilon ^{2}}}$.

في إطار تنظيم المتشعب ، ^{[ 10 ] [ 11 ]} يُستخدم الرسم البياني كبديل للمتشعب. يُضاف حدٌّ إلى مسألة تنظيم تيخونوف القياسية لفرض سلاسة الحل بالنسبة للمتشعب (في الفضاء الجوهري للمسألة) وكذلك بالنسبة لفضاء الإدخال المحيط. تصبح مسألة التصغير

${\displaystyle {\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left({\frac {1}{l}}\displaystyle \sum _{i=1}^{l}V(f(x_{i}),y_{i})+\lambda _{A}\|f\|_{\mathcal {H}}^{2}+\lambda _{I}\int _{\mathcal {M}}\|\nabla _{\mathcal {M}}f(x)\|^{2}dp(x)\right)}$^{[ 9 ]}

أين${\displaystyle {\mathcal {H}}}$هي فضاء هيلبرت ذو نواة مُولِّدة و${\displaystyle {\mathcal {M}}}$هي الفضاء المتشعب الذي تقع عليه البيانات. معاملات التنظيم${\displaystyle \lambda _{A}}$و${\displaystyle \lambda _{I}}$يتحكم الرسم البياني في سلاسة الحركة في الفضاء المحيط والفضاء الداخلي على التوالي. ويُستخدم لتقريب حد التنظيم الداخلي. تعريف لابلاس الرسم البياني${\displaystyle L=DW}$أين${\displaystyle D_{ii}=\sum _{j=1}^{l+u}W_{ij}}$و${\displaystyle \mathbf {f} }$هو المتجه${\displaystyle [f(x_{1})\dots f(x_{l+u})]}$لدينا

${\displaystyle \mathbf {f} ^{T}L\mathbf {f} =\displaystyle \sum _{i,j=1}^{l+u}W_{ij}(f_{i}-f_{j})^{2}\approx \int _{\mathcal {M}}\|\nabla _{\mathcal {M}}f(x)\|^{2}dp(x)}$.

يتمثل النهج القائم على الرسم البياني لتنظيم لابلاس في وضعه في علاقة مع طريقة الفروق المحدودة .

يمكن أيضًا استخدام لابلاس لتوسيع خوارزميات التعلم الخاضع للإشراف: المربعات الصغرى المنتظمة وآلات المتجهات الداعمة (SVM) إلى إصدارات شبه خاضعة للإشراف.

لا تُصمَّم بعض أساليب التعلّم شبه الموجّه بطبيعتها للتعلّم من البيانات غير المصنّفة والمصنّفة على حدّ سواء، بل تستخدم البيانات غير المصنّفة ضمن إطار عمل التعلّم الموجّه. على سبيل المثال، الأمثلة المصنّفة وغير المصنّفة${\displaystyle x_{1},\dots ,x_{l+u}}$قد يُسهم ذلك في اختيار التمثيل، أو مقياس المسافة ، أو النواة للبيانات في خطوة أولية غير مُشرفة. ثم يبدأ التعلم المُشرف بالاعتماد على الأمثلة المُصنفة فقط. في هذا السياق، تتعلم بعض الطرق تمثيلًا منخفض الأبعاد باستخدام البيانات المُشرفة، ثم تُطبق إما فصل الكثافة المنخفضة أو الطرق القائمة على الرسوم البيانية على التمثيل المُتعلم. ^{[ 12 ] [ 13 ]} قد يُحسّن تحسين التمثيل بشكل متكرر، ثم إجراء تعلم شبه مُشرف عليه، الأداء بشكل أكبر.

التدريب الذاتي هو أسلوب تغليف للتعلم شبه الموجه. ^{[ 14 ]} في البداية، يتم تدريب خوارزمية التعلم الموجه بالاعتماد على البيانات المصنفة فقط. ثم يُطبق هذا المصنف على البيانات غير المصنفة لتوليد المزيد من الأمثلة المصنفة كمدخلات لخوارزمية التعلم الموجه. عمومًا، تُضاف التصنيفات التي يثق بها المصنف أكثر من غيرها في كل خطوة. ^{[ 15 ]} في معالجة اللغات الطبيعية، تُعد خوارزمية ياروسكي من خوارزميات التدريب الذاتي الشائعة لحل مشكلات مثل إزالة الغموض عن معاني الكلمات، واستعادة اللهجة، وتصحيح الأخطاء الإملائية. ^{[ 16 ]}

التدريب المشترك هو امتداد للتدريب الذاتي حيث يتم تدريب مصنفات متعددة على مجموعات مختلفة (منفصلة بشكل مثالي) من الميزات وتوليد أمثلة مصنفة لبعضها البعض. ^{[ 17 ]}