اختيار الميزات

في مجال التعلم الآلي، يُعد اختيار الميزات عملية انتقاء مجموعة فرعية من الميزات ذات الصلة (المتغيرات، والمتنبئات) لاستخدامها في بناء النموذج. وتُستخدم تقنيات اختيار الميزات لعدة أسباب:

• تبسيط النماذج لتسهيل تفسيرها، ^{[ 1 ]}
• أوقات تدريب أقصر، ^{[ 2 ]}
• لتجنب لعنة الأبعاد ، ^{[ 3 ]}
• تحسين توافق البيانات مع فئة معينة من نماذج التعلم، ^{[ 4 ]}
• لترميز التناظرات الكامنة الموجودة في فضاء الإدخال. ^{[ 5 ] [ 6 ] [ 7 ] [ 8 ]}

تتمثل الفرضية الأساسية عند استخدام اختيار الميزات في أن البيانات قد تحتوي أحيانًا على ميزات زائدة أو غير ذات صلة ، وبالتالي يمكن إزالتها دون فقدان كبير للمعلومات. ^{[ 9 ]} التكرار وعدم الصلة مفهومان مختلفان، إذ قد تكون إحدى الميزات ذات الصلة زائدة في وجود ميزة أخرى ذات صلة ترتبط بها ارتباطًا وثيقًا. ^{[ 10 ]}

تُنشئ عملية استخلاص الميزات ميزات جديدة من وظائف الميزات الأصلية، بينما تحدد عملية اختيار الميزات مجموعة فرعية من الميزات. تُستخدم تقنيات اختيار الميزات غالبًا في المجالات التي تحتوي على العديد من الميزات وعدد قليل نسبيًا من العينات (نقاط البيانات).

يمكن اعتبار خوارزمية اختيار الميزات مزيجًا من تقنية بحث لاقتراح مجموعات فرعية جديدة من الميزات، ومقياس تقييم يُقيّم هذه المجموعات. أبسط خوارزمية هي اختبار كل مجموعة فرعية ممكنة من الميزات للعثور على المجموعة التي تُقلل معدل الخطأ. هذا بحث شامل في الفضاء، وهو غير قابل للتطبيق حسابيًا إلا على أصغر مجموعات الميزات. يؤثر اختيار مقياس التقييم بشكل كبير على الخوارزمية، وهذه المقاييس هي التي تُميز بين الفئات الرئيسية الثلاث لخوارزميات اختيار الميزات: التغليف، والمرشحات، والأساليب المُضمنة. ^{[ 10 ]}

• تستخدم أساليب التغليف نموذجًا تنبؤيًا لتقييم مجموعات فرعية من الميزات. تُستخدم كل مجموعة فرعية جديدة لتدريب نموذج، يُختبر بدوره على مجموعة بيانات منفصلة. يُحسب عدد الأخطاء التي ارتُكبت على هذه المجموعة (معدل خطأ النموذج) للحصول على تقييم تلك المجموعة الفرعية. ونظرًا لأن أساليب التغليف تُدرّب نموذجًا جديدًا لكل مجموعة فرعية، فإنها تتطلب موارد حاسوبية كبيرة، ولكنها عادةً ما تُقدّم أفضل مجموعة ميزات أداءً لهذا النوع من النماذج أو للمشكلة النموذجية.
• تستخدم طرق التصفية مقياسًا بديلًا بدلًا من معدل الخطأ لتقييم مجموعة فرعية من الميزات. يُختار هذا المقياس ليكون سريع الحساب، مع الحفاظ على فائدته لمجموعة الميزات. تشمل المقاييس الشائعة المعلومات المتبادلة ^{[ 10 ]} ، والمعلومات المتبادلة النقطية ^{[ 11 ]} ، ومعامل ارتباط بيرسون ، والخوارزميات القائمة على Relief ^{[ 12 ]} ، والمسافة بين الفئات/داخلها، أو نتائج اختبارات الدلالة لكل مجموعة من الفئات/الميزات ^{[ 11 ] [ 13 ]} . عادةً ما تكون المرشحات أقل استهلاكًا للموارد الحاسوبية من التغليف، لكنها تُنتج مجموعة ميزات غير مُخصصة لنوع مُحدد من نماذج التنبؤ ^{[ 14 ]} . هذا النقص في التخصيص يعني أن مجموعة الميزات الناتجة عن المرشح تكون أكثر عمومية من تلك الناتجة عن التغليف، مما يُؤدي عادةً إلى أداء تنبؤي أقل. مع ذلك، لا تحتوي مجموعة الميزات على افتراضات نموذج التنبؤ، وبالتالي فهي أكثر فائدة في إظهار العلاقات بين الميزات. تُقدّم العديد من المرشحات ترتيبًا للميزات بدلًا من تحديد أفضل مجموعة فرعية منها، ويتم اختيار نقطة القطع في الترتيب عبر التحقق المتبادل . كما استُخدمت طرق الترشيح كخطوة تمهيدية لطرق التغليف، مما يسمح باستخدام التغليف على مسائل أكبر. ومن الأساليب الشائعة الأخرى خوارزمية الإزالة المتكررة للميزات ^{[ 15 ]،} والتي تُستخدم عادةً مع آلات المتجهات الداعمة لبناء نموذج بشكل متكرر وإزالة الميزات ذات الأوزان المنخفضة.
• الأساليب المضمنة هي مجموعة شاملة من التقنيات التي تُجري عملية اختيار الميزات كجزء من عملية بناء النموذج. ومن الأمثلة على هذا النهج طريقة LASSO لبناء نموذج خطي، والتي تُعاقب معاملات الانحدار بعقوبة L1، مما يُقلص العديد منها إلى الصفر. ويتم "اختيار" أي ميزات ذات معاملات انحدار غير صفرية بواسطة خوارزمية LASSO. تشمل التحسينات التي أُدخلت على LASSO ما يلي: Bolasso الذي يُعيد أخذ العينات؛ ^{[ 16 ]} تنظيم الشبكة المرنة ، الذي يجمع بين عقوبة L1 في LASSO وعقوبة L2 في انحدار ريدج ؛ وFeaLect الذي يُقيّم جميع الميزات بناءً على التحليل التوافقي لمعاملات الانحدار. ^{[ 17 ]} كما تُوسّع AEFS نطاق LASSO ليشمل السيناريوهات غير الخطية باستخدام المشفرات التلقائية. ^{[ 18 ]} تميل هذه الأساليب إلى أن تكون متوسطة بين المرشحات والأغلفة من حيث التعقيد الحسابي.

في تحليل الانحدار التقليدي، يُعدّ الانحدار التدريجي الشكل الأكثر شيوعًا لاختيار الميزات ، وهو أسلوب تغليف. وهو خوارزمية جشعة تُضيف أفضل ميزة (أو تحذف أسوأ ميزة) في كل جولة. تكمن المشكلة الرئيسية في تحديد وقت إيقاف الخوارزمية. في التعلّم الآلي، يتم ذلك عادةً عن طريق التحقق المتبادل . أما في الإحصاء، فيتم تحسين بعض المعايير، مما يؤدي إلى مشكلة التداخل المتأصلة. وقد تم استكشاف طرق أكثر فعالية، مثل التفرع والتقييد والشبكة الخطية القطعية.

يُقيّم اختيار المجموعة الفرعية مجموعةً فرعيةً من الميزات كمجموعةٍ واحدةٍ لتحديد مدى ملاءمتها. يمكن تقسيم خوارزميات اختيار المجموعة الفرعية إلى أغلفة، ومرشحات، وطرق مُدمجة. تستخدم الأغلفة خوارزمية بحثٍ للبحث في فضاء الميزات المُحتملة، وتقييم كل مجموعة فرعية من خلال تشغيل نموذجٍ عليها. قد تكون الأغلفة مُكلفةً حسابيًا، كما أنها تنطوي على خطر المُبالغة في مُلاءمة النموذج. تُشبه المرشحات الأغلفة في أسلوب البحث، ولكن بدلًا من التقييم مُقارنةً بنموذج، يتم تقييم مرشحٍ أبسط. أما التقنيات المُدمجة، فهي مُدمجةٌ في نموذجٍ مُحددٍ له.

تستخدم العديد من أساليب البحث الشائعة خوارزمية التسلق الجشع ، التي تُقيّم بشكل متكرر مجموعة فرعية من الميزات المرشحة، ثم تُعدّل هذه المجموعة الفرعية وتُقيّم ما إذا كانت المجموعة الجديدة تُمثل تحسينًا عن المجموعة القديمة. يتطلب تقييم المجموعات الفرعية مقياسًا للدرجات يُصنّف كل مجموعة فرعية من الميزات. ونظرًا لأن البحث الشامل غير عملي عمومًا، فعند نقطة توقف يُحددها المُنفذ (أو المُشغل)، يتم اختيار المجموعة الفرعية من الميزات ذات أعلى درجة تم اكتشافها حتى تلك النقطة كمجموعة الميزات المُرضية. يختلف معيار التوقف باختلاف الخوارزمية؛ ومن المعايير المُحتملة: تجاوز درجة المجموعة الفرعية حدًا مُعينًا، أو تجاوز الحد الأقصى المسموح به لوقت تشغيل البرنامج، وما إلى ذلك.

تعتمد التقنيات البديلة القائمة على البحث على البحث عن الإسقاط المستهدف الذي يجد إسقاطات منخفضة الأبعاد للبيانات التي تحقق درجات عالية: ثم يتم اختيار الميزات التي لها أكبر الإسقاطات في الفضاء منخفض الأبعاد.

تشمل أساليب البحث ما يلي:

• شامل ^{[ 19 ]}
• الأفضل أولاً
• التلدين المحاكي
• الخوارزمية الجينية ^{[ 20 ]}
• اختيار المهاجم الجشع ^{[ 21 ] [ 22 ] [ 23 ]}
• الاستبعاد العكسي الجشع
• تحسين سرب الجسيمات ^{[ 24 ]}
• تتبع الإسقاط الموجه
• البحث المبعثر ^{[ 25 ] [ 26 ] [ 27 ]}
• البحث في الجوار المتغير ^{[ 28 ] [ 29 ]}

يُعدّ كلٌّ من الارتباط والمعلومات المتبادلة من المقاييس الشائعة لتصفية البيانات في مسائل التصنيف ، مع العلم أنهما ليسا مقياسين حقيقيين أو "مقياسين للمسافة" بالمعنى الرياضي، إذ لا يلتزمان بمتباينة المثلث ، وبالتالي لا يحسبان أي "مسافة" فعلية، بل يُمكن اعتبارهما "درجات". تُحسب هذه الدرجات بين سمة مُرشّحة (أو مجموعة سمات) وفئة الإخراج المطلوبة. مع ذلك، توجد مقاييس حقيقية تُعتبر دالةً بسيطةً للمعلومات المتبادلة؛ ^{[ 30 ]} انظر هنا .

تشمل مقاييس التصفية الأخرى المتاحة ما يلي:

• قابلية فصل الفئات
  • احتمال الخطأ
  • المسافة بين الصفوف
  • المسافة الاحتمالية
  • إنتروبيا
• اختيار الميزات بناءً على الاتساق
• اختيار الميزات القائم على الارتباط

يُعدّ اختيار معايير الأمثلية أمرًا صعبًا نظرًا لتعدد الأهداف في مهمة اختيار الميزات. تتضمن العديد من المعايير الشائعة مقياسًا للدقة، مع خصم قيمة معينة بناءً على عدد الميزات المختارة. ومن الأمثلة على ذلك معيار معلومات أكايكي (AIC) ومعيار مالوز Cp _، حيث يُخصم ضعف قيمة كل ميزة مُضافة. يعتمد معيار معلومات أكايكي على نظرية المعلومات ، ويُشتق فعليًا من خلال مبدأ أقصى إنتروبيا . ^{[ 31 ] [ 32 ]}

ومن المعايير الأخرى معيار المعلومات البايزي (BIC)، الذي يستخدم عقوبة قدرها${\displaystyle {\sqrt {\log {n}}}}$لكل ميزة مضافة، يتم استخدام الحد الأدنى لطول الوصف (MDL) الذي يستخدم بشكل تقاربي${\displaystyle {\sqrt {\log {n}}}}$بونفيروني / ريك التي تستخدم${\displaystyle {\sqrt {2\log {p}}}}$، واختيار الميزات ذات الاعتماد الأقصى، ومجموعة متنوعة من المعايير الجديدة المستوحاة من معدل الاكتشاف الخاطئ (FDR)، والتي تستخدم شيئًا قريبًا من${\displaystyle {\sqrt {2\log {\frac {p}{q}}}}}$يمكن أيضًا استخدام معيار معدل الإنتروبيا الأقصى لاختيار المجموعة الفرعية الأكثر صلة من الميزات. ^{[ 33 ]}

يُعدّ اختيار الميزات المُرشّحة حالةً خاصةً من نموذجٍ أعمّ يُسمى تعلّم البنية . يحدد اختيار الميزات مجموعة الميزات ذات الصلة بمتغير هدف مُحدد، بينما يحدد تعلّم البنية العلاقات بين جميع المتغيرات، عادةً من خلال تمثيل هذه العلاقات بيانيًا. تفترض معظم خوارزميات تعلّم البنية الشائعة أن البيانات مُولّدة بواسطة شبكة بايزية ، وبالتالي فإن البنية عبارة عن نموذج بياني مُوجّه . الحل الأمثل لمشكلة اختيار الميزات المُرشّحة هو غطاء ماركوف للعقدة المستهدفة، وفي الشبكة البايزية، يوجد غطاء ماركوف فريد لكل عقدة. ^{[ 34 ]}

توجد آليات مختلفة لاختيار الميزات تستخدم المعلومات المتبادلة لتقييم الميزات المختلفة. وعادةً ما تستخدم جميعها نفس الخوارزمية:

1. احسب المعلومات المتبادلة كدرجة بين جميع الميزات (${\displaystyle f_{i}\in F}$) والفئة المستهدفة ( ج )
2. اختر الميزة ذات أعلى درجة (مثلاً${\displaystyle {\underset {f_{i}\in F}{\operatorname {argmax} }}(I(f_{i},c))}$) وأضفها إلى مجموعة الميزات المحددة ( S )
3. احسب النتيجة التي يمكن استخلاصها من المعلومات المتبادلة
4. اختر الميزة ذات أعلى درجة وأضفها إلى مجموعة الميزات المختارة (مثلاً${\displaystyle {\underset {f_{i}\in F}{\operatorname {argmax} }}(I_{derived}(f_{i},c))}$)
5. كرر الخطوتين 3 و4 حتى يتم تحديد عدد معين من الميزات (مثلاً${\displaystyle |S|=l}$)

يستخدم النهج الأبسط المعلومات المتبادلة كدرجة "مشتقة". ^{[ 35 ]}

ومع ذلك، هناك مناهج مختلفة تحاول تقليل التكرار بين الميزات.

بالنسبة للبيانات ذات الأبعاد العالية والعينات الصغيرة (على سبيل المثال، الأبعاد > 10)⁵ وعدد العينات < 10³ )، يُعدّ معيار هيلبرت-شميدت للاستقلال (HSIC Lasso) مفيدًا. ^{[ 41 ]} تُعطى مسألة تحسين HSIC Lasso على النحو التالي

${\displaystyle \mathrm {HSIC_{Lasso}}$ :\min _ {\mathbf {x} {\frac {1}{2}}\sum _{k,l=1}^{n}x_{k}x_{l}{\mbox{HSIC}}(f_{k},f_{l})-\sum _{k=1}^{n}x_{k}{\mbox{HSIC}}(f_{k},c)+\lambda \|\mathbf {x} \|_{1},\quad {\mbox{st}}\ x_{1},\ldots ,x_{n}\geq 0,}

أين${\displaystyle {\mbox{HSIC}}(f_{k},c)={\mbox{tr}}({\bar {\mathbf {K} }}^{(k)}{\bar {\mathbf {L} }})}$هو مقياس استقلال قائم على النواة يُسمى معيار هيلبرت-شميدت للاستقلال (HSIC) (التجريبي).${\displaystyle {\mbox{tr}}(\cdot )}$يشير إلى الأثر ،${\displaystyle \lambda }$هو معامل التنظيم،${\displaystyle {\bar {\mathbf {K} }}^{(k)}=\mathbf {\Gamma } \mathbf {K} ^{(k)}\mathbf {\Gamma } }$و${\displaystyle {\bar {\mathbf {L} }}=\mathbf {\Gamma } \mathbf {L} \mathbf {\Gamma } }$هي مصفوفات غرام مركزية المدخلات والمخرجات ،${\displaystyle K_{i,j}^{(k)}=K(u_{k,i},u_{k,j})}$و${\displaystyle L_{i,j}=L(c_{i},c_{j})}$هي مصفوفات غرام،${\displaystyle K(u,u')}$و${\displaystyle L(c,c')}$هي دوال النواة،${\displaystyle \mathbf {\Gamma } =\mathbf {I} _{m}-{\frac {1}{m}}\mathbf {1} _{m}\mathbf {1} _{m}^{T}}$هي مصفوفة التمركز ،${\displaystyle \mathbf {I} _{m}}$هي مصفوفة الوحدة ذات البعد m ( حيث m : عدد العينات)،${\displaystyle \mathbf {1} _{m}}$هو متجه ذو أبعاد m جميع عناصره تساوي واحدًا، و ${\displaystyle \|\cdot \|_{1}}$هو${\displaystyle \ell _{1}}$-norm. تأخذ HSIC دائمًا قيمة غير سالبة، وتكون صفرًا إذا وفقط إذا كان متغيران عشوائيان مستقلين إحصائيًا عند استخدام نواة إعادة إنتاج عالمية مثل نواة غاوس.

يمكن كتابة معادلة HSIC Lasso على النحو التالي:

${\displaystyle \mathrm {HSIC_{Lasso}}$ :\min _{\mathbf {x} {\frac {1}{2}}\left\|{\bar {\mathbf {L} }}-\sum _{k=1}^{n}x_{k}{\bar {\mathbf {K} }}^{(k)}\right\|_ {F}^{2}+\lambda \|\mathbf {x} \|_{1},\quad {\mbox{st}}\ x_{1},\ldots ,x_{n}\geq 0,}

أين${\displaystyle \|\cdot \|_{F}}$هي معيار فروبينيوس . مشكلة التحسين هي مشكلة لاسو، وبالتالي يمكن حلها بكفاءة باستخدام أحدث خوارزمية لحل لاسو مثل طريقة لاغرانج المعززة المزدوجة .

يقيس مقياس اختيار الميزات المرتبطة (CFS) مجموعات فرعية من الميزات بناءً على الفرضية التالية: "تحتوي مجموعات الميزات الجيدة على ميزات مرتبطة ارتباطًا وثيقًا بالتصنيف، ولكنها غير مرتبطة ببعضها البعض". ^{[ 42 ] [ 43 ]} وتوضح المعادلة التالية مزايا مجموعة فرعية من الميزات S تتكون من k ميزة:

${\displaystyle \mathrm {Merit} _{S_{k}}={\frac {k{\overline {r_{cf}}}}{\sqrt {k+k(k-1){\overline {r_{ff}}}}}}.}$

هنا،${\displaystyle {\overline {r_{cf}}}}$يمثل متوسط ​​قيمة جميع معاملات الارتباط بين الميزات والتصنيف، و${\displaystyle {\overline {r_{ff}}}}$يمثل متوسط ​​قيمة جميع الارتباطات بين الميزات. ويُعرَّف معيار CFS على النحو التالي:

${\displaystyle \mathrm {CFS} =\max _{S_{k}}\left[{\frac {r_{cf_{1}}+r_{cf_{2}}+\cdots +r_{cf_{k}}}{\sqrt {k+2(r_{f_{1}f_{2}}+\cdots +r_{f_{i}f_{j}}+\cdots +r_{f_{k}f_{k-1}})}}}\right].}$

ال${\displaystyle r_{cf_{i}}}$و${\displaystyle r_{f_{i}f_{j}}}$تُعرف المتغيرات بالارتباطات، ولكنها ليست بالضرورة معامل ارتباط بيرسون أو معامل ارتباط سبيرمان ρ . لا تستخدم أطروحة هول أيًا من هذين المعاملين، بل تستخدم ثلاثة مقاييس مختلفة للترابط، وهي: الحد الأدنى لطول الوصف (MDL)، وعدم اليقين المتناظر ، والتخفيف .

لنفترض أن xᵢ _هي دالة مؤشر عضوية المجموعة للميزة fᵢ _؛ عندئذٍ يمكن إعادة كتابة ما سبق كمسألة تحسين:

${\displaystyle \mathrm {CFS} =\max _{x\in \{0,1\}^{n}}\left[{\frac {(\sum _{i=1}^{n}a_{i}x_{i})^{2}}{\sum _{i=1}^{n}x_{i}+\sum _{i\neq j}2b_{ij}x_{i}x_{j}}}\right].}$

إن المسائل التوافقية المذكورة أعلاه هي في الواقع مسائل برمجة خطية مختلطة من نوع 0-1 يمكن حلها باستخدام خوارزميات التفرع والتقييد . ^{[ 44 ]}

تبين أن خصائص شجرة القرار أو مجموعة الأشجار متكررة. ويمكن استخدام طريقة حديثة تُسمى الشجرة المنتظمة ^{[ 45 ]} لاختيار مجموعة فرعية من الخصائص. تُعاقب الأشجار المنتظمة باستخدام متغير مشابه للمتغيرات المختارة في عقد الشجرة السابقة لتقسيم العقدة الحالية. لا تحتاج الأشجار المنتظمة إلا إلى بناء نموذج شجرة واحد (أو نموذج مجموعة أشجار واحد)، وبالتالي فهي فعالة من حيث الحساب.

تتعامل الأشجار المنتظمة بشكل طبيعي مع السمات العددية والفئوية، والتفاعلات، والعلاقات غير الخطية. وهي ثابتة بغض النظر عن مقاييس السمات (الوحدات) وغير حساسة للقيم الشاذة ، وبالتالي، لا تتطلب سوى القليل من معالجة البيانات المسبقة مثل التطبيع . تُعد الغابة العشوائية المنتظمة (RRF) ^{[ 46 ]} أحد أنواع الأشجار المنتظمة. أما الغابة العشوائية المنتظمة الموجهة فهي نسخة محسّنة من الغابة العشوائية المنتظمة، حيث تُوجّه باستخدام درجات الأهمية من الغابة العشوائية العادية.

الخوارزمية فوق الحدسية هي وصف عام لخوارزمية مُخصصة لحل مسائل التحسين الصعبة (عادةً مسائل NP-hard ) التي لا توجد لها طرق حل تقليدية. عمومًا، الخوارزمية فوق الحدسية هي خوارزمية عشوائية تسعى للوصول إلى الحل الأمثل الشامل. وتتنوع الخوارزميات فوق الحدسية، بدءًا من البحث المحلي البسيط وصولًا إلى خوارزمية البحث الشامل المعقدة.

المبادئ الأساسية

تُعرض طرق اختيار الميزات عادةً في ثلاث فئات بناءً على كيفية دمجها لخوارزمية الاختيار وبناء النموذج.

طريقة التصفية

تختار أساليب التصفية المتغيرات بغض النظر عن النموذج، إذ تعتمد فقط على خصائص عامة مثل الارتباط بالمتغير المراد التنبؤ به. تعمل هذه الأساليب على استبعاد المتغيرات الأقل أهمية، بينما تُستخدم المتغيرات الأخرى في نموذج تصنيف أو انحدار لتصنيف البيانات أو التنبؤ بها. تتميز هذه الأساليب بفعاليتها من حيث وقت الحساب ومقاومتها لظاهرة التخصيص الزائد . ^{[ 47 ]}

تميل أساليب التصفية إلى اختيار متغيرات زائدة عندما لا تأخذ في الاعتبار العلاقات بين المتغيرات. ومع ذلك، تحاول الميزات الأكثر تطوراً تقليل هذه المشكلة عن طريق إزالة المتغيرات شديدة الارتباط ببعضها البعض، مثل خوارزمية التصفية السريعة القائمة على الارتباط (FCBF). ^{[ 48 ]}

طريقة التغليف

تقوم أساليب التغليف بتقييم مجموعات فرعية من المتغيرات، مما يسمح، على عكس أساليب التصفية، بالكشف عن التفاعلات المحتملة بين المتغيرات. ^{[ 49 ]} أما العيبان الرئيسيان لهذه الأساليب فهما:

• يزداد خطر التخصيص الزائد عندما يكون عدد الملاحظات غير كافٍ.
• يستغرق الحساب وقتًا طويلاً عندما يكون عدد المتغيرات كبيرًا.

الأسلوب المضمن

تم اقتراح أساليب مضمنة مؤخراً تحاول الجمع بين مزايا الأساليب السابقة. تستفيد خوارزمية التعلم من عملية اختيار المتغيرات الخاصة بها وتنفذ عملية اختيار الميزات والتصنيف في آن واحد، مثل خوارزمية FRMT. ^{[ 50 ]}

تُجري بعض خوارزميات التعلم عملية اختيار الميزات كجزء من عملها العام. وتشمل هذه الخوارزميات ما يلي:

• ⁠${\displaystyle l_{1}}$تقنيات التنظيم ، مثل الانحدار المتفرق، و LASSO، و${\displaystyle l_{1}}$-SVM​
• الأشجار المنتظمة، ^{[ 45 ]} على سبيل المثال الغابة العشوائية المنتظمة المنفذة في حزمة RRF ^{[ 46 ]}
• شجرة القرار ^{[ 73 ]}
• خوارزمية الميمات
• نموذج اللوجيت متعدد الحدود العشوائي (RMNL)
• شبكات التشفير التلقائي ذات طبقة عنق الزجاجة
• اختيار الميزات الفرعية ^{[ 74 ] [ 75 ] [ 76 ]}
• اختيار الميزات القائم على التعلم المحلي. ^{[ 77 ]} بالمقارنة مع الطرق التقليدية، لا يتضمن هذا الأسلوب أي بحث استدلالي، ويمكنه التعامل بسهولة مع المشكلات متعددة التصنيفات، ويعمل مع كل من المشكلات الخطية وغير الخطية. كما أنه مدعوم بأساس نظري متين. أظهرت التجارب العددية أن هذا الأسلوب يمكنه تحقيق حل قريب من الحل الأمثل حتى عندما تحتوي البيانات على أكثر من مليون ميزة غير ذات صلة.
• نظام التوصية القائم على اختيار الميزات. ^{[ 78 ]} تم إدخال أساليب اختيار الميزات في أبحاث أنظمة التوصية.

• تحليل التجميع
• استخراج البيانات
• تقليل الأبعاد
• استخلاص الميزات
• تحسين المعلمات الفائقة
• اختيار الطراز
• الإعفاء (اختيار الميزات)

• غويون، إيزابيل؛ إليسيف، أندريه (2003). "مقدمة في اختيار المتغيرات والميزات" . مجلة أبحاث تعلم الآلة . 3 : 1157-1182 .
• هاريل، ف. (2001). استراتيجيات نمذجة الانحدار . سبرينغر. ISBN 0-387-95232-2.
• ليو، هوان؛ موتودا، هيروشي (1998). اختيار الميزات لاكتشاف المعرفة واستخراج البيانات . سبرينغر. ISBN 0-7923-8198-X.
• ليو، هوان؛ يو، لي (2005). "نحو دمج خوارزميات اختيار الميزات للتصنيف والتجميع". معاملات IEEE في هندسة المعرفة والبيانات . 17 (4): 491-502 . Bibcode : 2005IDSO...17..491L . doi : 10.1109/TKDE.2005.66 . S2CID 1607600 . 

• حزمة اختيار الميزات، جامعة ولاية أريزونا (كود ماتلاب)
• تحدي NIPS لعام 2003 (انظر أيضًا NIPS )
• تطبيق Naive Bayes مع اختيار الميزات في Visual Basic مؤرشف بتاريخ 14-02-2009 على Wayback Machine (يتضمن ملفًا تنفيذيًا وشفرة مصدرية)
• برنامج اختيار الميزات ذي الحد الأدنى من التكرار والحد الأقصى من الصلة (mRMR)
• FEAST (خوارزميات اختيار الميزات مفتوحة المصدر بلغة C و MATLAB)