آلة المتجهات الداعمة

إذا كانت بيانات التدريب قابلة للفصل الخطي ، فيمكننا اختيار مستويين فائقين متوازيين يفصلان بين فئتي البيانات، بحيث تكون المسافة بينهما أكبر ما يمكن. تُسمى المنطقة المحصورة بين هذين المستويين الفائقين "الهامش"، ويُعرف المستوى الفائق ذو الهامش الأقصى بأنه المستوى الفائق الذي يقع في منتصف المسافة بينهما. مع مجموعة بيانات مُعَيَّرة أو مُوَحَّدة، يمكن وصف هذين المستويين الفائقين بالمعادلات التالية:

${\displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} -b=1}$(أي شيء على هذا الحد أو فوقه ينتمي إلى فئة واحدة، ويحمل التسمية 1)

و

${\displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} -b=-1}$(أي شيء على هذا الحد أو أسفله ينتمي إلى الفئة الأخرى، ويحمل التسمية -1).

هندسياً، المسافة بين هذين المستويين الفائقين هي${\displaystyle {\tfrac {2}{\|\mathbf {w} \|}}}$[ ^{21 ] لذلك، لتحقيق أقصى مسافة بين المستويين ،} نريد تقليل${\displaystyle \|\mathbf {w} \|}$يتم حساب المسافة باستخدام معادلة المسافة من نقطة إلى مستوى . ولتجنب وقوع نقاط البيانات في الهامش، نضيف القيد التالي: لكل${\displaystyle i}$أيضاً $${\displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b\geq 1\,,{\text{ إذا كان }}y_{i}=1,}$$ أو $${\displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b\leq -1\,,{\text{ إذا كان }}y_{i}=-1.}$$ تنص هذه القيود على أن كل نقطة بيانات يجب أن تقع على الجانب الصحيح من الهامش.

يمكن إعادة كتابة هذا على النحو التالي

$${\displaystyle y_{i}(\mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b)\geq 1,\quad {\text{ لجميع }}1\leq i\leq n.}$$

1

يمكننا جمع كل هذا معًا للحصول على مسألة التحسين:

${\displaystyle {\begin{aligned}&{\underset {\mathbf {w} ,\;b}{\operatorname {minimize} }}&&{\frac {1}{2}}\|\mathbf {w} \|^{2}\\&{\text{subject to}}&&y_{i}(\mathbf {w} ^{\top }\mathbf {x} _{i}-b)\geq 1\quad \forall i\in \{1,\dots ,n\}\end{aligned}}}$

ال${\displaystyle \mathbf {w} }$و${\displaystyle b}$تحديد المصنف النهائي الذي يحل هذه المشكلة،${\displaystyle \mathbf {x} \mapsto \operatorname {sgn}(\mathbf {w} ^{\mathsf {T}}\mathbf {x} -b)}$، أين${\displaystyle \operatorname {sgn}(\cdot )}$هي دالة الإشارة .

من النتائج المهمة لهذا الوصف الهندسي أن المستوى الفائق ذو الهامش الأقصى يتحدد تمامًا بواسطة تلك${\displaystyle \mathbf {x} _{i}}$التي تقع الأقرب إليها (موضحة أدناه). هذه${\displaystyle \mathbf {x} _{i}}$تُسمى هذه المتجهات بناقلات الدعم .

لتوسيع نطاق خوارزمية SVM لتشمل الحالات التي لا تكون فيها البيانات قابلة للفصل الخطي، فإن دالة خسارة المفصل مفيدة. $${\displaystyle \max \left(0,1-y_{i}(\mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b)\right).}$$

لاحظ أن${\displaystyle y_{i}}$هو الهدف رقم i (أي في هذه الحالة، 1 أو -1)، و${\displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b}$هو الناتج رقم i .

تكون هذه الدالة صفرًا إذا تحقق الشرط الوارد في (1) ، أي إذا${\displaystyle \mathbf {x} _{i}}$تقع البيانات على الجانب الصحيح من الهامش. أما بالنسبة للبيانات الموجودة على الجانب الخطأ من الهامش، فإن قيمة الدالة تتناسب طرديًا مع المسافة من الهامش.

إذن، الهدف من عملية التحسين هو تقليل ما يلي:

$${\displaystyle \lVert \mathbf {w} \rVert ^{2}+C\left[{\frac {1}{n}}\sum _{i=1}^{n}\max \left(0,1-y_{i}(\mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b)\right)\right],}$$

حيث المعامل${\displaystyle C>0}$يحدد ذلك المفاضلة بين زيادة حجم الهامش وضمان أن${\displaystyle \mathbf {x} _{i}}$يقع على الجانب الصحيح من الهامش (لاحظ أنه يمكننا إضافة وزن لأي من الحدين في المعادلة أعلاه). من خلال تحليل دالة الخسارة المفصلية، يمكن صياغة مسألة التحسين هذه على النحو التالي:

$${\displaystyle {\begin{aligned}&{\underset {\mathbf {w} ,\;b,\;\mathbf {\zeta } }{\operatorname {minimize} }}&&\|\mathbf {w} \|_{2}^{2}+C\sum _{i=1}^{n}\zeta _{i}\\&{\text{subject to}}&&y_{i}(\mathbf {w} ^{\top }\mathbf {x} _{i}-b)\geq 1-\zeta _{i},\quad \zeta _{i}\geq 0\quad \forall i\in \{1,\dots ,n\}\end{aligned}}}$$

وبالتالي، بالنسبة للقيم الكبيرة لـ${\displaystyle C}$، وسيتصرف بشكل مشابه لـ SVM ذي الهامش الصلب، إذا كانت بيانات الإدخال قابلة للتصنيف الخطي، ولكنه سيظل يتعلم ما إذا كانت قاعدة التصنيف قابلة للتطبيق أم لا.

يمكن إعادة كتابة عملية التصغير (2) كمسألة تحسين مقيدة مع دالة هدف قابلة للتفاضل بالطريقة التالية.

لكل${\displaystyle i\in \{1,\,\ldots ,\,n\}}$نقدم متغيرًا${\displaystyle \zeta _{i}=\max \left(0,1-y_{i}(\mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b)\right)}$. لاحظ أن${\displaystyle \zeta _{i}}$هو أصغر عدد غير سالب يحقق${\displaystyle y_{i}(\mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b)\geq 1-\zeta _{i}.}$

وبالتالي يمكننا إعادة صياغة مسألة التحسين على النحو التالي

$${\displaystyle {\begin{aligned}&{\text{minimize }}{\frac {1}{n}}\sum _{i=1}^{n}\zeta _{i}+\lambda \|\mathbf {w} \|^{2}\\[0.5ex]&{\text{subject to }}y_{i}\left(\mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b\right)\geq 1-\zeta _{i}\,{\text{ and }}\,\zeta _{i}\geq 0,\,{\text{for all }}i.\end{aligned}}}$$

هذا ما يسمى بالمشكلة الأولية .

بحلّ المسألة المزدوجة لاغرانجية للمسألة المذكورة أعلاه، نحصل على المسألة المبسطة

$${\displaystyle {\begin{aligned}&{\text{maximize}}\,\,f(c_{1}\ldots c_{n})=\sum _{i=1}^{n}c_{i}-{\frac {1}{2}}\sum _{i=1}^{n}\sum _{j=1}^{n}y_{i}c_{i}(\mathbf {x} _{i}^{\mathsf {T}}\mathbf {x} _{j})y_{j}c_{j},\\&{\text{subject to }}\sum _{i=1}^{n}c_{i}y_{i}=0,\,{\text{and }}0\leq c_{i}\leq {\frac {1}{2n\lambda }}\;{\text{for all }}i.\end{aligned}}}$$

يُطلق على هذا اسم المسألة الثنائية . بما أن مسألة التعظيم الثنائية هي دالة تربيعية لـ${\displaystyle c_{i}}$مع مراعاة القيود الخطية، يمكن حلها بكفاءة باستخدام خوارزميات البرمجة التربيعية .

هنا، المتغيرات${\displaystyle c_{i}}$يتم تعريفها بحيث

$${\displaystyle \mathbf {w} =\sum _{i=1}^{n}c_{i}y_{i}\mathbf {x} _{i}.}$$

علاوة على ذلك،${\displaystyle c_{i}=0}$متى بالضبط${\displaystyle \mathbf {x} _{i}}$يقع على الجانب الصحيح من الهامش، و${\displaystyle 0<c_{i}<(2n\lambda )^{-1}}$ متى${\displaystyle \mathbf {x} _{i}}$يقع على حدود الهامش. ويترتب على ذلك أن${\displaystyle \mathbf {w} }$يمكن كتابتها كتركيبة خطية من متجهات الدعم.

الإزاحة،${\displaystyle b}$يمكن استعادتها عن طريق إيجاد${\displaystyle \mathbf {x} _{i}}$على حدود الهامش وحلها $${\displaystyle y_{i}(\mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b)=1\iff b=\mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-y_{i}.}$$

(لاحظ أن${\displaystyle y_{i}^{-1}=y_{i}}$منذ${\displaystyle y_{i}=\pm 1}$.)

لنفترض الآن أننا نرغب في تعلم قاعدة تصنيف غير خطية تتوافق مع قاعدة تصنيف خطية لنقاط البيانات المحولة${\displaystyle \varphi (\mathbf {x} _{i}).}$علاوة على ذلك، لدينا دالة نواة${\displaystyle k}$وهو ما يرضي${\displaystyle k(\mathbf {x} _{i},\mathbf {x} _{j})=\varphi (\mathbf {x} _{i})\cdot \varphi (\mathbf {x} _{j})}$.

نحن نعرف متجه التصنيف${\displaystyle \mathbf {w} }$في الفضاء المُحوَّل يُرضي

$${\displaystyle \mathbf {w} =\sum _{i=1}^{n}c_{i}y_{i}\varphi (\mathbf {x} _{i}),}$$

أين،${\displaystyle c_{i}}$يتم الحصول عليها عن طريق حل مسألة التحسين

$${\displaystyle {\begin{aligned}{\text{maximize}}\,\,f(c_{1}\ldots c_{n})&=\sum _{i=1}^{n}c_{i}-{\frac {1}{2}}\sum _{i=1}^{n}\sum _{j=1}^{n}y_{i}c_{i}(\varphi (\mathbf {x} _{i})\cdot \varphi (\mathbf {x} _{j}))y_{j}c_{j}\\&=\sum _{i=1}^{n}c_{i}-{\frac {1}{2}}\sum _{i=1}^{n}\sum _{j=1}^{n}y_{i}c_{i}k(\mathbf {x} _{i},\mathbf {x} _{j})y_{j}c_{j}\\{\text{subject to }}\sum _{i=1}^{n}c_{i}y_{i}&=0,\,{\text{and }}0\leq c_{i}\leq {\frac {1}{2n\lambda }}\;{\text{for all }}i.\end{aligned}}}$$

المعاملات${\displaystyle c_{i}}$يمكن حل هذه المسألة باستخدام البرمجة التربيعية، كما في السابق. ومرة ​​أخرى، يمكننا إيجاد بعض المؤشرات.${\displaystyle i}$بحيث${\displaystyle 0<c_{i}<(2n\lambda )^{-1}}$، لهذا السبب${\displaystyle \varphi (\mathbf {x} _{i})}$يقع على حدود الهامش في الفضاء المحوّل، ثم يتم حله

$${\displaystyle {\begin{aligned}b=\mathbf {w} ^{\mathsf {T}}\varphi (\mathbf {x} _{i})-y_{i}&=\left[\sum _{j=1}^{n}c_{j}y_{j}\varphi (\mathbf {x} _{j})\cdot \varphi (\mathbf {x} _{i})\right]-y_{i}\\&=\left[\sum _{j=1}^{n}c_{j}y_{j}k(\mathbf {x} _{j},\mathbf {x} _{i})\right]-y_{i}.\end{aligned}}}$$

أخيراً،

$${\displaystyle \mathbf {z} \mapsto \operatorname {sgn}(\mathbf {w} ^{\mathsf {T}}\varphi (\mathbf {z} )-b)=\operatorname {sgn} \left(\left[\sum _{i=1}^{n}c_{i}y_{i}k(\mathbf {x} _{i},\mathbf {z} )\right]-b\right).}$$

تتضمن الخوارزميات الحديثة لإيجاد مصنف SVM كلاً من خوارزمية التدرج الفرعي وخوارزمية التدرج الإحداثي. وقد أثبتت كلتا التقنيتين تفوقهما بشكل ملحوظ على الأسلوب التقليدي عند التعامل مع مجموعات البيانات الكبيرة والمتفرقة؛ إذ تتميز خوارزمية التدرج الفرعي بكفاءة عالية عند وجود العديد من أمثلة التدريب، بينما تتميز خوارزمية التدرج الإحداثي بكفاءة عالية عند ارتفاع أبعاد فضاء الميزات.

في التعلم الخاضع للإشراف، يتم تزويد المرء بمجموعة من أمثلة التدريب${\displaystyle X_{1}\ldots X_{n}}$مع ملصقات${\displaystyle y_{1}\ldots y_{n}}$ويرغب في التنبؤ${\displaystyle y_{n+1}}$منح${\displaystyle X_{n+1}}$وللقيام بذلك، يتم وضع فرضية .${\displaystyle f}$بحيث${\displaystyle f(X_{n+1})}$هو تقريب "جيد" لـ${\displaystyle y_{n+1}}$عادةً ما يتم تعريف التقريب "الجيد" بمساعدة دالة الخسارة .${\displaystyle \ell (y,z)}$وهذا ما يحدد مدى سوء الوضع${\displaystyle z}$هو بمثابة تنبؤ بـ${\displaystyle y}$ثم نرغب في اختيار فرضية تقلل من المخاطر المتوقعة :

$${\displaystyle \varepsilon (f)=\mathbb {E} \left[\ell (y_{n+1},f(X_{n+1}))\right].}$$

في معظم الحالات، لا نعرف التوزيع المشترك لـ${\displaystyle X_{n+1},\,y_{n+1}}$بشكل مباشر. في هذه الحالات، تتمثل الاستراتيجية الشائعة في اختيار الفرضية التي تقلل من المخاطر التجريبية:

$${\displaystyle {\hat {\varepsilon }}(f)={\frac {1}{n}}\sum _{k=1}^{n}\ell (y_{k},f(X_{k})).}$$

في ظل افتراضات معينة حول تسلسل المتغيرات العشوائية${\displaystyle X_{k},\,y_{k}}$(على سبيل المثال، أنها مُولَّدة بواسطة عملية ماركوف محدودة)، إذا كانت مجموعة الفرضيات قيد الدراسة صغيرة بما يكفي، فإن مُصغِّر المخاطرة التجريبية سيقترب بشكل كبير من مُصغِّر المخاطرة المتوقعة.${\displaystyle n}$يكبر حجمه. يُطلق على هذا النهج اسم تقليل المخاطر التجريبية، أو إدارة المخاطر التجريبية.

لكي يكون لمسألة التصغير حل محدد جيدًا، يجب علينا وضع قيود على المجموعة${\displaystyle {\mathcal {H}}}$من الفرضيات التي يتم النظر فيها. إذا${\displaystyle {\mathcal {H}}}$إذا كان فضاءً معياريًا (كما هو الحال بالنسبة لآلة المتجهات الداعمة)، فإن إحدى التقنيات الفعالة بشكل خاص هي النظر فقط في تلك الفرضيات.${\displaystyle f}$والتي${\displaystyle \lVert f\rVert _{\mathcal {H}}<k}$وهذا يعادل فرض عقوبة تنظيمية${\displaystyle {\mathcal {R}}(f)=\lambda _{k}\lVert f\rVert _{\mathcal {H}}}$وحل مشكلة التحسين الجديدة

$${\displaystyle {\hat {f}}=\mathrm {arg} \min _{f\in {\mathcal {H}}}{\hat {\varepsilon }}(f)+{\mathcal {R}}(f).}$$

يُطلق على هذا النهج اسم تنظيم تيخونوف .

وبشكل عام،${\displaystyle {\mathcal {R}}(f)}$يمكن أن يكون ذلك مقياسًا لمدى تعقيد الفرضية${\displaystyle f}$لذلك يتم تفضيل الفرضيات الأبسط.

تذكر أن مصنف SVM (ذو الهامش الناعم)${\displaystyle {\hat {\mathbf {w} }},b:\mathbf {x} \mapsto \operatorname {sgn}({\hat {\mathbf {w} }}^{\mathsf {T}}\mathbf {x} -b)}$يتم اختيارها لتقليل التعبير التالي:

$${\displaystyle \left[{\frac {1}{n}}\sum _{i=1}^{n}\max \left(0,1-y_{i}(\mathbf {w} ^{\mathsf {T}}\mathbf {x} -b)\right)\right]+\lambda \|\mathbf {w} \|^{2}.}$$

في ضوء المناقشة السابقة، نرى أن تقنية SVM تعادل تقليل المخاطر التجريبية مع تنظيم تيكهونوف، حيث تكون دالة الخسارة في هذه الحالة هي خسارة المفصلة.

$${\displaystyle \ell (y,z)=\max \left(0,1-yz\right).}$$

من هذا المنظور، ترتبط خوارزمية SVM ارتباطًا وثيقًا بخوارزميات التصنيف الأساسية الأخرى مثل المربعات الصغرى المنتظمة والانحدار اللوجستي . ويكمن الاختلاف بين هذه الخوارزميات الثلاث في اختيار دالة الخسارة: فالمربعات الصغرى المنتظمة تُعادل تقليل المخاطر التجريبية باستخدام دالة الخسارة التربيعية . ${\displaystyle \ell _{sq}(y,z)=(y-z)^{2}}$يستخدم الانحدار اللوجستي دالة الخسارة اللوغاريتمية .

$${\displaystyle \ell _{\log }(y,z)=\ln(1+e^{-yz}).}$$

تعتمد فعالية خوارزمية SVM على اختيار النواة، ومعاملات النواة، ومعامل الهامش المرن.${\displaystyle \lambda }$يُعدّ استخدام نواة غاوسية خيارًا شائعًا، وهي تحتوي على مُعامل واحد.${\displaystyle \gamma }$أفضل مزيج من${\displaystyle \lambda }$و${\displaystyle \gamma }$غالباً ما يتم اختيارها عن طريق بحث شبكي باستخدام تسلسلات متزايدة أُسّياً من${\displaystyle \lambda }$و${\displaystyle \gamma }$، على سبيل المثال،${\displaystyle \lambda \in \{2^{-5},2^{-3},\dots ,2^{13},2^{15}\}}$؛${\displaystyle \gamma \in \{2^{-15},2^{-13},\dots ,2^{1},2^{3}\}}$عادةً، يتم فحص كل مجموعة من خيارات المعلمات باستخدام التحقق المتبادل ، ويتم اختيار المعلمات ذات أفضل دقة في التحقق المتبادل. بدلاً من ذلك، يمكن استخدام الأعمال الحديثة في التحسين البايزي لاختيار${\displaystyle \lambda }$و${\displaystyle \gamma }$وغالباً ما يتطلب ذلك تقييم عدد أقل بكثير من تركيبات المعلمات مقارنةً بالبحث الشبكي. ثم يتم تدريب النموذج النهائي، الذي يُستخدم لاختبار وتصنيف البيانات الجديدة، على مجموعة التدريب الكاملة باستخدام المعلمات المختارة. ^{[ 29 ]}

تشمل العيوب المحتملة لخوارزمية SVM الجوانب التالية:

• يتطلب ذلك وضع علامات كاملة على بيانات الإدخال
• احتمالات انتماء الفئة غير المعايرة — تنبع خوارزمية SVM من نظرية فابنيك التي تتجنب تقدير الاحتمالات على بيانات محدودة
• لا يُمكن تطبيق خوارزمية SVM بشكل مباشر إلا على المهام ثنائية التصنيف. لذلك، يجب تطبيق خوارزميات تُختزل مهمة التصنيف المتعدد إلى عدة مسائل ثنائية؛ انظر قسم SVM متعدد التصنيفات .
• يصعب تفسير معلمات النموذج المحلول.

تهدف آلة المتجهات الداعمة متعددة الفئات إلى تعيين تصنيفات للحالات باستخدام آلات المتجهات الداعمة، حيث يتم سحب التصنيفات من مجموعة محدودة من عدة عناصر.

يتمثل النهج السائد لتحقيق ذلك في اختزال مشكلة التصنيف المتعدد إلى عدة مشاكل تصنيف ثنائي . ^{[ 30 ]} تشمل الطرق الشائعة لهذا الاختزال ما يلي: ^{[ 30 ] [ 31 ]}

• يتم بناء مصنفات ثنائية تميز بين إحدى التصنيفات وبقية التصنيفات ( تصنيف واحد مقابل الكل ) أو بين كل زوج من التصنيفات ( تصنيف واحد مقابل تصنيف واحد ). في حالة التصنيف الواحد مقابل الكل، يتم تصنيف الحالات الجديدة باستخدام استراتيجية "الفائز يأخذ كل شيء"، حيث يُحدد المصنف ذو دالة الإخراج الأعلى التصنيف (من المهم معايرة دوال الإخراج لإنتاج نتائج قابلة للمقارنة). أما في حالة التصنيف الواحد مقابل تصنيف واحد، فيتم التصنيف باستخدام استراتيجية "أقصى عدد من الأصوات"، حيث يُخصص كل مصنف الحالة لإحدى الفئتين، ثم يُزاد التصويت للفئة المخصصة بمقدار صوت واحد، وأخيرًا تُحدد الفئة الحاصلة على أكبر عدد من الأصوات تصنيف الحالة.
• SVM الرسم البياني الموجه غير الدوري (DAGSVM) ^{[ 32 ]}
• رموز تصحيح الأخطاء في المخرجات ^{[ 33 ]}

Crammer and Singer proposed a multiclass SVM method which casts the multiclass classification problem into a single optimization problem, rather than decomposing it into multiple binary classification problems.^[34] See also Lee, Lin and Wahba^[35][36] and Van den Burg and Groenen.^[37]

Transductive support vector machines extend SVMs in that they could also treat partially labeled data in semi-supervised learning by following the principles of transduction. Here, in addition to the training set ${\displaystyle {\mathcal {D}}}$, the learner is also given a set

$${\displaystyle {\mathcal {D}}^{\star }=\{\mathbf {x} _{i}^{\star }\mid \mathbf {x} _{i}^{\star }\in \mathbb {R} ^{p}\}_{i=1}^{k}}$$

of test examples to be classified. Formally, a transductive support vector machine is defined by the following primal optimization problem:^[38]

Minimize (in ${\displaystyle \mathbf {w} ,b,\mathbf {y} ^{\star }}$)

$${\displaystyle {\frac {1}{2}}\|\mathbf {w} \|^{2}}$$

subject to (for any ${\displaystyle i=1,\dots ,n}$ and any ${\displaystyle j=1,\dots ,k}$)

$${\displaystyle {\begin{aligned}&y_{i}(\mathbf {w} \cdot \mathbf {x} _{i}-b)\geq 1,\\&y_{j}^{\star }(\mathbf {w} \cdot \mathbf {x} _{j}^{\star }-b)\geq 1,\end{aligned}}}$$

and

$${\displaystyle y_{j}^{\star }\in \{-1,1\}.}$$

Transductive support vector machines were introduced by Vladimir N. Vapnik in 1998.

Structured support-vector machine is an extension of the traditional SVM model. While the SVM model is primarily designed for binary classification, multiclass classification, and regression tasks, structured SVM broadens its application to handle general structured output labels, for example parse trees, classification with taxonomies, sequence alignment and many more.^[39]

A version of SVM for regression was proposed in 1996 by Vladimir N. Vapnik, Harris Drucker, Christopher J. C. Burges, Linda Kaufman and Alexander J. Smola.^[40] This method is called support vector regression (SVR). The model produced by support vector classification (as described above) depends only on a subset of the training data, because the cost function for building the model does not care about training points that lie beyond the margin. Analogously, the model produced by SVR depends only on a subset of the training data, because the cost function for building the model ignores any training data close to the model prediction. Another SVM version known as least-squares support vector machine (LS-SVM) has been proposed by Suykens and Vandewalle.^[41]

Training the original SVR means solving^[42]

minimize ${\displaystyle {\tfrac {1}{2}}\|w\|^{2}}$

subject to ${\displaystyle |y_{i}-\langle w,x_{i}\rangle -b|\leq \varepsilon }$

where ${\displaystyle x_{i}}$ is a training sample with target value ${\displaystyle y_{i}}$. The inner product plus intercept ${\displaystyle \langle w,x_{i}\rangle +b}$ is the prediction for that sample, and ${\displaystyle \varepsilon }$هو مُعامل حر يعمل كعتبة: يجب أن تكون جميع التنبؤات ضمن${\displaystyle \varepsilon }$نطاق التنبؤات الصحيحة. عادةً ما تُضاف متغيرات الركود إلى ما سبق للسماح بالأخطاء وللسماح بالتقريب في حالة عدم جدوى المشكلة المذكورة أعلاه.

في عام 2011، أظهر بولسون وسكوت أن آلة المتجهات الداعمة (SVM) تقبل تفسيرًا بايزيًا من خلال تقنية زيادة البيانات . ^{[ 43 ]} في هذا النهج، تُعتبر آلة المتجهات الداعمة نموذجًا بيانيًا (حيث ترتبط المعلمات عبر توزيعات احتمالية). يتيح هذا المنظور الموسع تطبيق التقنيات البايزية على آلات المتجهات الداعمة، مثل نمذجة الميزات المرنة، والضبط التلقائي للمعلمات الفائقة ، وتحديد عدم اليقين التنبؤي . في عام 2017، طوّر فلوريان وينزل نسخة قابلة للتوسع من آلة المتجهات الداعمة البايزية ، مما مكّن من تطبيقها على البيانات الضخمة . ^{[ 44 ]} طوّر فلوريان وينزل نسختين مختلفتين، إحداهما مخطط استدلال تبايني (VI) لآلة المتجهات الداعمة ذات النواة البايزية، والأخرى نسخة عشوائية (SVI) لآلة المتجهات الداعمة البايزية الخطية. ^{[ 45 ]}