طريقة النواة

الموسوعة الحرة

في مجال تعلم الآلة ، تُعدّ آلات النواة فئة من الخوارزميات لتحليل الأنماط ، وأشهرها آلة المتجهات الداعمة (SVM). تعتمد هذه الأساليب على استخدام المصنفات الخطية لحل المشكلات غير الخطية. [ 1 ] تتمثل المهمة العامة لتحليل الأنماط في إيجاد ودراسة أنواع العلاقات العامة (مثل التجمعات ، والترتيبات ، والمكونات الرئيسية ، والارتباطات ، والتصنيفات ) في مجموعات البيانات. بالنسبة للعديد من الخوارزميات التي تحل هذه المهام، يجب تحويل البيانات في تمثيلها الخام بشكل صريح إلى تمثيلات متجهات الميزات عبر خريطة ميزات يحددها المستخدم ؛ في المقابل، لا تتطلب أساليب النواة سوى نواة يحددها المستخدم ، أي دالة تشابه على جميع أزواج نقاط البيانات المحسوبة باستخدام الضرب الداخلي . تكون خريطة الميزات في آلات النواة لا نهائية الأبعاد، ولكنها لا تتطلب سوى مصفوفة محدودة الأبعاد من مدخلات المستخدم وفقًا لنظرية المُمَثِّل . تُعدّ آلات النواة بطيئة الحساب لمجموعات البيانات التي يزيد حجمها عن بضعة آلاف من الأمثلة دون معالجة متوازية.

تُستمد طرق النواة اسمها من استخدام دوال النواة ، التي تُمكّنها من العمل في فضاء ميزات ضمني عالي الأبعاد دون الحاجة إلى حساب إحداثيات البيانات في ذلك الفضاء، بل من خلال حساب حاصل الضرب الداخلي بين صور جميع أزواج البيانات في فضاء الميزات. غالبًا ما تكون هذه العملية أقل تكلفة حسابية من الحساب الصريح للإحداثيات. يُطلق على هذا النهج اسم " حيلة النواة ". [ 2 ] وقد طُورت دوال النواة لبيانات التسلسل، والرسوم البيانية ، والنصوص، والصور، بالإضافة إلى المتجهات.

تشمل الخوارزميات القادرة على العمل مع النوى: البيرسيبترون ذو النواة ، وآلات المتجهات الداعمة (SVM)، والعمليات الغاوسية ، وتحليل المكونات الرئيسية (PCA)، وتحليل الارتباط الكنسي ، وانحدار ريدج ، والتجميع الطيفي ، والمرشحات التكيفية الخطية ، وغيرها الكثير.

تعتمد معظم خوارزميات النواة على التحسين المحدب أو مسائل القيم الذاتية ، وهي ذات أساس إحصائي متين. وعادةً ما تُحلل خصائصها الإحصائية باستخدام نظرية التعلم الإحصائي (على سبيل المثال، باستخدام تعقيد رادماخر ).

الدافع والشرح غير الرسمي

يمكن اعتبار طرق النواة بمثابة متعلمين قائمين على الحالات : فبدلاً من تعلم مجموعة ثابتة من المعلمات التي تتوافق مع خصائص مدخلاتها، فإنها "تتذكر" بدلاً من ذلكأنا{\displaystyle i}مثال تدريبي رقم -(xأنا،yأنا){\displaystyle (\mathbf {x} _{i},y_{i})}وتعلم مقابل ذلك وزنًا مناسبًاwأنا{\displaystyle w_{i}}يتم التعامل مع التنبؤات للمدخلات غير المصنفة، أي تلك التي ليست ضمن مجموعة التدريب، من خلال تطبيق دالة تشابه .ك{\displaystyle k}، والتي تسمى النواة ، بين المدخلات غير المصنفةx′{\displaystyle \mathbf {x'} }وكل مدخلات التدريبxأنا{\displaystyle \mathbf {x} _{i}}على سبيل المثال، عادةً ما يحسب المصنف الثنائي المُعتمد على النواة مجموعًا مرجحًا من أوجه التشابه y^=علامة⁡∑أنا=1نwأناyأناك(xأنا،x′)،{\displaystyle {\hat {y}}=\operatorname {sgn} \sum _{i=1}^{n}w_{i}y_{i}k(\mathbf {x} _{i},\mathbf {x'} ),} أين

  • y^∈{-1،+1}{\displaystyle {\hat {y}}\in \{-1,+1\}}يمثل هذا التصنيف المتوقع للمصنف الثنائي المُحسَّن (kernelized binary classifier) ​​للمدخلات غير المصنفة.x′{\displaystyle \mathbf {x'} }علامته الحقيقية الخفيةy{\displaystyle y}هذا الأمر يثير الاهتمام؛
  • ك:X×X→R{\displaystyle k\colon {\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }هي دالة النواة التي تقيس التشابه بين أي زوج من المدخلاتx،x′∈X{\displaystyle \mathbf {x} ,\mathbf {x'} \in {\mathcal {X}}}؛
  • يتراوح المجموع على مدى الأمثلة المصنفة n{(xأنا،yأنا)}أنا=1ن{\displaystyle \{(\mathbf {x} _{i},y_{i})\}_{i=1}^{n}}في مجموعة تدريب المصنف، معyأنا∈{-1،+1}{\displaystyle y_{i}\in \{-1,+1\}}؛
  • الwأنا∈R{\displaystyle w_{i}\in \mathbb {R} }هي الأوزان الخاصة بأمثلة التدريب، كما تحددها خوارزمية التعلم؛
  • دالة الإشارةعلامة{\displaystyle \operatorname {sgn} }يحدد ما إذا كان التصنيف المتوقعy^{\displaystyle {\hat {y}}}تظهر النتيجة إيجابية أو سلبية.

تم وصف المصنفات النواة في وقت مبكر من الستينيات، مع اختراع البيرسيبترون النواة . [ 3 ] وقد برزت بشكل كبير مع انتشار آلة المتجهات الداعمة (SVM) في التسعينيات، عندما تبين أن آلة المتجهات الداعمة قادرة على منافسة الشبكات العصبية في مهام مثل التعرف على الكتابة اليدوية .

الرياضيات: خدعة النواة

آلة المتجهات الداعمة (SVM) مع خريطة الميزات المعطاة بواسطةφ((أ،ب))=(أ،ب،أ2+ب2){\displaystyle \varphi ((a,b))=(a,b,a^{2}+b^{2})}وبالتالي مع دالة النواةك(x،y)=x⋅y+‖x‖2‖y‖2{\displaystyle k(\mathbf {x} ,\mathbf {y} )=\mathbf {x} \cdot \mathbf {y} +\left\|\mathbf {x} \right\|^{2}\left\|\mathbf {y} \right\|^{2}}يتم تعيين نقاط التدريب إلى فضاء ثلاثي الأبعاد حيث يمكن العثور بسهولة على مستوى فاصل.

تتجنب حيلة النواة عملية التعيين الصريحة اللازمة لجعل خوارزميات التعلم الخطي تتعلم دالة غير خطية أو حدود قرار . بالنسبة للجميعx{\displaystyle \mathbf {x} }وx′{\displaystyle \mathbf {x'} }في مساحة الإدخالX{\displaystyle {\mathcal {X}}}وظائف معينةك(x،x′){\displaystyle k(\mathbf {x} ,\mathbf {x'} )}يمكن التعبير عنها كحاصل ضرب داخلي في فضاء آخرV{\displaystyle {\mathcal {V}}}الوظيفةك:X×X→R{\displaystyle k\colon {\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }يُشار إليها غالبًا باسم النواة أو دالة النواة . تُستخدم كلمة "النواة" في الرياضيات للدلالة على دالة ترجيح لمجموع أو تكامل مرجح .

تتميز بعض المشكلات في مجال التعلم الآلي ببنية أكثر تعقيدًا من مجرد دالة ترجيح عشوائية.ك{\displaystyle k}يصبح الحساب أبسط بكثير إذا أمكن كتابة النواة على شكل "خريطة ميزات".φ:X→V{\displaystyle \varphi \colon {\mathcal {X}}\to {\mathcal {V}}}وهو ما يرضي ك(x،x′)=⟨φ(x)،φ(x′)⟩V.{\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle _{\mathcal {V}}.}القيد الرئيسي هو أن⟨⋅،⋅⟩V{\displaystyle \langle \cdot ,\cdot \rangle _{\mathcal {V}}}يجب أن يكون ضربًا داخليًا صحيحًا. من ناحية أخرى، تمثيل صريح لـφ{\displaystyle \varphi }ليس ذلك ضرورياً، طالما أنV{\displaystyle {\mathcal {V}}}هو فضاء جداء داخلي . والبديل يتبع من نظرية ميرسر : دالة معرفة ضمنيًاφ{\displaystyle \varphi }يوجد كلما كان الفضاءX{\displaystyle {\mathcal {X}}}يمكن تجهيزها بإجراء مناسب يضمن الوظيفةك{\displaystyle k}يفي بشرط ميرسر .

تُشبه نظرية ميرسر تعميمًا لنتيجة من الجبر الخطي تربط الضرب الداخلي بأي مصفوفة موجبة التحديد . في الواقع، يمكن اختزال شرط ميرسر إلى هذه الحالة الأبسط. إذا اخترنا مقياس العد كمقياس لناμ(تي)=|تي|{\displaystyle \mu (T)=|T|}للجميعتي⊂X{\displaystyle T\subset X}، والذي يحسب عدد النقاط داخل المجموعةتي{\displaystyle T}إذاً، فإن التكامل في نظرية ميرسر يتحول إلى مجموع.∑أنا=1ن∑ج=1نك(xأنا،xج)جأناجج≥0.{\displaystyle \sum _{i=1}^{n}\sum _{j=1}^{n}k(\mathbf {x} _{i},\mathbf {x} _{j})c_{i}c_{j}\geq 0.}إذا كان هذا المجموع صحيحًا لجميع المتتاليات المنتهية من النقاط(x1،...،xن){\displaystyle (\mathbf {x} _{1},\dotsc ,\mathbf {x} _{n})}فيX{\displaystyle {\mathcal {X}}}وجميع خياراتن{\displaystyle n}معاملات ذات قيم حقيقية(ج1،...،جن){\displaystyle (c_{1},\dots ,c_{n})}(انظر إلى النواة الموجبة المحددة )، ثم الدالةك{\displaystyle k}يفي بشرط ميرسر.

بعض الخوارزميات التي تعتمد على علاقات عشوائية في الفضاء الأصليX{\displaystyle {\mathcal {X}}}في الواقع، سيكون لها تفسير خطي في سياق مختلف: نطاق الفضاء لـφ{\displaystyle \varphi }يُتيح لنا التفسير الخطي فهمًا أعمق للخوارزمية. علاوة على ذلك، غالبًا لا تكون هناك حاجة للحساب.φ{\displaystyle \varphi }مباشرةً أثناء الحساب، كما هو الحال مع آلات المتجهات الداعمة . ويشير البعض إلى هذا الاختصار في وقت التشغيل باعتباره الميزة الأساسية. كما يستخدمه الباحثون لتبرير معاني وخصائص الخوارزميات الحالية.

نظرياً، مصفوفة غرامك∈Rن×ن{\displaystyle \mathbf {K} \in \mathbb {R} ^{n\times n}}بالنسبة إلى{x1،...،xن}{\displaystyle \{\mathbf {x} _{1},\dotsc ,\mathbf {x} _{n}\}}(يُطلق عليها أحيانًا أيضًا اسم "مصفوفة النواة" [ 4 ] )، حيثكأناج=ك(xأنا،xج){\displaystyle K_{ij}=k(\mathbf {x} _{i},\mathbf {x} _{j})}يجب أن تكون الدالة شبه موجبة (PSD) . [ 5 ] عمليًا، بالنسبة لأساليب التعلم الآلي الاستدلالية، فإن اختيارات الدالةك{\displaystyle k}قد تؤدي الشركات التي لا تستوفي شروط شركة ميرسر أداءً معقولاً إذاك{\displaystyle k}على الأقل، يقترب هذا من الفكرة البديهية للتشابه. [ 6 ] بغض النظر عما إذاك{\displaystyle k}هي نواة ميرسر،ك{\displaystyle k}قد يُشار إليها أيضاً باسم "النواة".

إذا كانت دالة النواةك{\displaystyle k}وهي أيضًا دالة تباين مشتركة كما هو مستخدم في العمليات الغاوسية ، ثم مصفوفة غرامك{\displaystyle \mathbf {K} }ويمكن تسميتها أيضاً بمصفوفة التغاير . [ 7 ]

التطبيقات

تتنوع مجالات تطبيق أساليب النواة وتشمل الإحصاء الجيولوجي ، [ 8 ] كريجينج ، ترجيح المسافة العكسية ، إعادة البناء ثلاثي الأبعاد ، المعلوماتية الحيوية ، المعلوماتية الكيميائية ، استخراج المعلومات والتعرف على الكتابة اليدوية .

انظر أيضاً

مراجع

  1. ↑ "طريقة النواة" . إنجاتي . تم الاسترجاع في 2023-04-04 .
  2. ↑ ثيودوريديس، سيرجيوس (2008). التعرف على الأنماط . دار النشر إلسيفير بي في، ص 203. رقم ISBN  9780080949123.
  3. ↑ أيزرمان، م.أ؛ برافرمان، إيمانويل م.؛ روزونور، ل.إ. (1964). "الأسس النظرية لطريقة دالة الجهد في تعلم التعرف على الأنماط". الأتمتة والتحكم عن بعد . 25 : 821-837 .ورد ذكره في: غايون، إيزابيل؛ بوسر، ب.؛ فابنيك، فلاديمير (1993). الضبط التلقائي لسعة المصنفات ذات الأبعاد الكبيرة جدًا VC . التطورات في أنظمة معالجة المعلومات العصبية. CiteSeerX 10.1.1.17.7215 . 
  4. ↑ هوفمان، توماس؛ شولكوف، برنارد؛ سمولا، ألكسندر ج. (2008). "طرق النواة في التعلم الآلي" . حوليات الإحصاء . 36 (3). arXiv : math/0701907 . doi : 10.1214/009053607000000677 . S2CID 88516979 . 
  5. ↑ مهري، مهريار ؛ رستمي زاده، أفشين؛ تالوالكار، أميت (2012). أسس التعلم الآلي . الولايات المتحدة، ماساتشوستس: مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 9780262018258.
  6. ↑ سيويل، مارتن. "آلات المتجهات الداعمة: حالة ميرسر" . آلات المتجهات الداعمة. مؤرشف من الأصل بتاريخ 15-10-2018 . تم الاسترجاع بتاريخ 30-05-2014 .
  7. ↑ راسموسن، كارل إدوارد؛ ويليامز، كريستوفر كي (2006). العمليات الغاوسية للتعلم الآلي . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 0-262-18253-X.
  8. ↑ هونارخاه، م.؛ كايرز، ج. (2010). "المحاكاة العشوائية للأنماط باستخدام نمذجة الأنماط القائمة على المسافة". العلوم الجيولوجية الرياضية . 42 (5): 487-517 . Bibcode : 2010MaGeo..42..487H . doi : 10.1007/s11004-010-9276-7 . S2CID 73657847 . 

للمزيد من القراءة