نظرية التعلم الإحصائي

جزء من سلسلة عن
التعلم الآلي واستخراج البيانات
النماذج التعلم تحت الإشراف التعلم غير الخاضع للإشراف التعلم شبه الخاضع للإشراف التعلم الذاتي التعلم التعزيزي التعلم الفوقي التعلم عبر الإنترنت التعلم الدفعي التعلم المنهجي التعلم المبني على القواعد الذكاء الاصطناعي الرمزي العصبي الهندسة العصبية التعلم الآلي الكمومي
المشاكل تصنيف النمذجة التوليدية الانحدار التجميع تخفيض الأبعاد تقدير الكثافة كشف الشذوذ تنظيف البيانات التعلم الآلي التلقائي قواعد الجمعية التحليل الدلالي التنبؤ المنظم هندسة المميزات ميزة التعلم تعلم الترتيب الاستدلال النحوي التعلم الأنطولوجيا التعلم المتعدد الوسائط
التعلم الخاضع للإشراف ( التصنيف  • الانحدار ) التعلم عن طريق التدريب أشجار القرار الفرق الموسيقية التعبئة في أكياس تعزيز غابة عشوائية ك -ن ن الانحدار الخطي بايز الساذج الشبكات العصبية الاصطناعية الانحدار اللوجستي بيرسيبترون آلة متجهات الصلة (RVM) آلة الدعم المتجهي (SVM)
التجميع البتولا دواء هرمي ك- يعني غامض التوقع - التعظيم (EM) دي بي إس أي إن بصريات متوسط ​​التحول
تخفيض الأبعاد تحليل العوامل سي سي ايه ايكا لدا ن م ف تحليل البيانات الشخصية التشخيص قبل الزرع تي-SNE إس دي إل
التنبؤ المنظم النماذج الرسومية شبكة بايز حقل عشوائي مشروط ماركوف المخفي
كشف الشذوذ RANSAC k-NN Local outlier factor Isolation forest
Artificial neural network Autoencoder Deep learning Feedforward neural network Recurrent neural network LSTM GRU ESN reservoir computing Boltzmann machine Restricted GAN Diffusion model SOM Convolutional neural network U-Net LeNet AlexNet DeepDream Neural radiance field Transformer Vision Mamba Spiking neural network Memtransistor Electrochemical RAM (ECRAM)
Reinforcement learning Q-learning SARSA Temporal difference (TD) Multi-agent Self-play
Learning with humans Active learning Crowdsourcing Human-in-the-loop RLHF
Model diagnostics Coefficient of determination Confusion matrix Learning curve ROC curve
Mathematical foundations Kernel machines Bias–variance tradeoff Computational learning theory Empirical risk minimization Occam learning PAC learning Statistical learning VC theory
Journals and conferences ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
Related articles Glossary of artificial intelligence List of datasets for machine-learning research List of datasets in computer vision and image processing Outline of machine learning
v t e

نظرية التعلم الإحصائي هي إطار عمل للتعلم الآلي مستوحى من مجالات الإحصاء والتحليل الوظيفي . ^{[1] [2] [3]} تتعامل نظرية التعلم الإحصائي مع مشكلة الاستدلال الإحصائي المتمثلة في العثور على دالة تنبؤية بناءً على البيانات. أدت نظرية التعلم الإحصائي إلى تطبيقات ناجحة في مجالات مثل الرؤية الحاسوبية والتعرف على الكلام وعلم المعلومات الحيوية .

أهداف التعلم هي الفهم والتنبؤ. ينقسم التعلم إلى العديد من الفئات، بما في ذلك التعلم الخاضع للإشراف ، والتعلم غير الخاضع للإشراف ، والتعلم عبر الإنترنت ، والتعلم التعزيزي . من منظور نظرية التعلم الإحصائي، يُفهم التعلم الخاضع للإشراف بشكل أفضل. ^[4] يتضمن التعلم الخاضع للإشراف التعلم من مجموعة بيانات تدريبية . كل نقطة في التدريب عبارة عن زوج من المدخلات والمخرجات، حيث يتم تعيين المدخلات إلى مخرجات. تتكون مشكلة التعلم من استنتاج الدالة التي يتم تعيينها بين المدخلات والمخرجات، بحيث يمكن استخدام الدالة المكتسبة للتنبؤ بالمخرجات من المدخلات المستقبلية.

اعتمادًا على نوع الناتج، فإن مشكلات التعلم الخاضع للإشراف هي إما مشكلات انحدار أو مشكلات تصنيف . إذا أخذ الناتج نطاقًا مستمرًا من القيم، فهو مشكلة انحدار. باستخدام قانون أوم كمثال، يمكن إجراء انحدار بالجهد كمدخل والتيار كمخرج. سيجد الانحدار العلاقة الوظيفية بين الجهد والتيار لتكون ، بحيث تكون مشكلات التصنيف هي تلك التي سيكون فيها الناتج عنصرًا من مجموعة منفصلة من العلامات. التصنيف شائع جدًا لتطبيقات التعلم الآلي. في التعرف على الوجه ، على سبيل المثال، ستكون صورة وجه الشخص هي المدخل، وستكون علامة الإخراج هي اسم ذلك الشخص. سيتم تمثيل المدخل بواسطة متجه متعدد الأبعاد كبير تمثل عناصره وحدات البكسل في الصورة. ${\displaystyle R}$$${\displaystyle V=IR}$$

بعد تعلم وظيفة بناءً على بيانات مجموعة التدريب، يتم التحقق من صحة هذه الوظيفة على مجموعة اختبار من البيانات التي لم تظهر في مجموعة التدريب.

خذ أن تكون مساحة المتجه لجميع المدخلات الممكنة، وأن تكون مساحة المتجه لجميع المخرجات الممكنة. تأخذ نظرية التعلم الإحصائي منظورًا مفاده أن هناك توزيع احتمالي غير معروف على مساحة المنتج ، أي أن هناك بعض المجهول . تتكون مجموعة التدريب من عينات من توزيع الاحتمالات هذا، ويتم تدوينها. كل هو متجه إدخال من بيانات التدريب، وهو المخرج الذي يتوافق معه. ${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z=X\times Y}$${\displaystyle p(z)=p(\mathbf {x} ,y)}$${\displaystyle n}$$${\displaystyle S=\{(\mathbf {x} _{1},y_{1}),\dots ,(\mathbf {x} _{n},y_{n})\}=\{\mathbf {z} _{1},\dots ,\mathbf {z} _{n}\}}$$${\displaystyle \mathbf {x} _{i}}$${\displaystyle y_{i}}$

في هذه الصيغة، تتكون مشكلة الاستدلال من إيجاد دالة بحيث . لتكن مساحة من الدوال تسمى مساحة الفرضية. مساحة الفرضية هي مساحة الدوال التي ستبحث فيها الخوارزمية. لتكن دالة الخسارة ، مقياس للفرق بين القيمة المتوقعة والقيمة الفعلية . يتم تعريف المخاطر المتوقعة على أنها دالة الهدف، أفضل دالة ممكنة يمكن اختيارها، يتم إعطاؤها بواسطة التي تلبي ${\displaystyle f:X\to Y}$${\displaystyle f(\mathbf {x} )\sim y}$${\displaystyle {\mathcal {H}}}$${\displaystyle f:X\to Y}$${\displaystyle V(f(\mathbf {x} ),y)}$${\displaystyle f(\mathbf {x} )}$${\displaystyle y}$$${\displaystyle I[f]=\int _{X\times Y}V(f(\mathbf {x} ),y)\,p(\mathbf {x} ,y)\,d\mathbf {x} \,dy}$$${\displaystyle f}$${\displaystyle f}$$${\displaystyle f=\mathop {\operatorname {argmin} } _{h\in {\mathcal {H}}}I[h]}$$

نظرًا لأن توزيع الاحتمالات غير معروف، فيجب استخدام مقياس بديل للمخاطر المتوقعة. يعتمد هذا المقياس على مجموعة التدريب، وهي عينة من توزيع الاحتمالات غير المعروف هذا. ويسمى ذلك بالمخاطر التجريبية. وتسمى خوارزمية التعلم التي تختار الدالة التي تقلل من المخاطر التجريبية بالحد من المخاطر التجريبية . ${\displaystyle p(\mathbf {x} ,y)}$$${\displaystyle I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f(\mathbf {x} _{i}),y_{i})}$$${\displaystyle f_{S}}$

يعد اختيار دالة الخسارة عاملاً حاسماً في تحديد الدالة التي سيتم اختيارها بواسطة خوارزمية التعلم. تؤثر دالة الخسارة أيضًا على معدل التقارب للخوارزمية. من المهم أن تكون دالة الخسارة محدبة . ^[5]${\displaystyle f_{S}}$

يتم استخدام وظائف خسارة مختلفة اعتمادًا على ما إذا كانت المشكلة تتعلق بالانحدار أو التصنيف.

دالة الخسارة الأكثر شيوعًا للانحدار هي دالة الخسارة التربيعية (المعروفة أيضًا باسم معيار L2 ). تُستخدم دالة الخسارة المألوفة هذه في الانحدار باستخدام المربعات الصغرى العادية . الشكل هو: $${\displaystyle V(f(\mathbf {x} ),y)=(y-f(\mathbf {x} ))^{2}}$$

يتم أيضًا استخدام خسارة القيمة المطلقة (المعروفة أيضًا باسم معيار L1 ) في بعض الأحيان: $${\displaystyle V(f(\mathbf {x} ),y)=|y-f(\mathbf {x} )|}$$

بمعنى ما، تعد دالة المؤشر 0-1 هي دالة الخسارة الأكثر طبيعية للتصنيف. فهي تأخذ القيمة 0 إذا كان الناتج المتوقع هو نفس الناتج الفعلي، وتأخذ القيمة 1 إذا كان الناتج المتوقع مختلفًا عن الناتج الفعلي. بالنسبة للتصنيف الثنائي مع ، يكون هذا هو: حيث تكون دالة خطوة هيفيسايد . ${\displaystyle Y=\{-1,1\}}$$${\displaystyle V(f(\mathbf {x} ),y)=\theta (-yf(\mathbf {x} ))}$$${\displaystyle \theta }$

في مشكلات التعلم الآلي، تنشأ مشكلة رئيسية وهي الإفراط في التجهيز . ولأن التعلم مشكلة تنبؤ، فإن الهدف ليس العثور على دالة تناسب بشكل وثيق البيانات (التي تمت ملاحظتها سابقًا)، بل العثور على دالة يمكنها التنبؤ بدقة بالناتج من المدخلات المستقبلية. ينطوي تقليل المخاطر التجريبية على مخاطر الإفراط في التجهيز: العثور على دالة تطابق البيانات تمامًا ولكنها لا تتنبأ بالناتج المستقبلي بشكل جيد.

إن الإفراط في التجهيز هو أحد أعراض الحلول غير المستقرة؛ حيث أن أي اضطراب بسيط في بيانات مجموعة التدريب من شأنه أن يتسبب في حدوث تباين كبير في الدالة المتعلمة. ويمكن إثبات أنه إذا كان من الممكن ضمان استقرار الحل، فإن التعميم والاتساق مضمونان أيضًا. ^{[6] [7] يمكن} للتسوية أن تحل مشكلة الإفراط في التجهيز وتمنح المشكلة الاستقرار.

يمكن إنجاز التنظيم عن طريق تقييد مساحة الفرضية . ومن الأمثلة الشائعة التقييد بالوظائف الخطية: يمكن اعتبار هذا بمثابة اختزال للمشكلة القياسية للانحدار الخطي . يمكن أيضًا تقييده على كثيرات الحدود من الدرجة أو الأسي أو الوظائف المحدودة على L1 . يتجنب تقييد مساحة الفرضية الإفراط في التجهيز لأن شكل الوظائف المحتملة محدود، وبالتالي لا يسمح باختيار دالة تعطي مخاطرة تجريبية قريبة من الصفر بشكل تعسفي. ${\displaystyle {\mathcal {H}}}$${\displaystyle {\mathcal {H}}}$${\displaystyle {\mathcal {H}}}$${\displaystyle p}$

أحد الأمثلة على التنظيم هو تنظيم تيخونوف . يتكون هذا من التقليل إلى أدنى حد حيث هو معلمة ثابتة وموجبة، وهي معلمة التنظيم. يضمن تنظيم تيخونوف وجود الحل وفرادته واستقراره. ^[8]$${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}V(f(\mathbf {x} _{i}),y_{i})+\gamma \left\|f\right\|_{\mathcal {H}}^{2}}$$${\displaystyle \gamma }$

فكر في مصنف ثنائي . يمكننا تطبيق متباينة هوفدينج لتحديد احتمال انحراف المخاطر التجريبية عن المخاطر الحقيقية لتكون توزيعًا فرعيًا غاوسيًا . ولكن بشكل عام، عندما نقوم بتقليل المخاطر التجريبية، لا يُمنح لنا مصنف؛ بل يجب أن نختاره. لذلك، فإن النتيجة الأكثر فائدة هي تحديد احتمال الحد الأعلى للفرق على الفئة بأكملها. حيث هو رقم التحطيم و هو عدد العينات في مجموعة البيانات الخاصة بك. يأتي المصطلح الأسي من هوفدينج ولكن هناك تكلفة إضافية لأخذ الحد الأعلى للفرق على الفئة بأكملها، وهو رقم التحطيم. ${\displaystyle f:{\mathcal {X}}\to \{0,1\}}$$${\displaystyle \mathbb {P} (|{\hat {R}}(f)-R(f)|\geq \epsilon )\leq 2e^{-2n\epsilon ^{2}}}$$$${\displaystyle \mathbb {P} {\bigg (}\sup _{f\in {\mathcal {F}}}|{\hat {R}}(f)-R(f)|\geq \epsilon {\bigg )}\leq 2S({\mathcal {F}},n)e^{-n\epsilon ^{2}/8}\approx n^{d}e^{-n\epsilon ^{2}/8}}$$${\displaystyle S({\mathcal {F}},n)}$${\displaystyle n}$

• يعد إعادة إنتاج مساحات هيلبرت للنواة خيارًا مفيدًا لـ .${\displaystyle {\mathcal {H}}}$
• طرق التدرج القريب للتعلم
• تعقيد رادماخر
• بُعد فابنيك – تشيرفونينكيس