التنبؤ المنظم

جزء من سلسلة عن
التعلم الآلي واستخراج البيانات
النماذج التعلم تحت الإشراف التعلم غير الخاضع للإشراف التعلم شبه الخاضع للإشراف التعلم الذاتي التعلم التعزيزي التعلم الفوقي التعلم عبر الإنترنت التعلم الدفعي التعلم المنهجي التعلم المبني على القواعد الذكاء الاصطناعي الرمزي العصبي الهندسة العصبية التعلم الآلي الكمومي
المشاكل تصنيف النمذجة التوليدية الانحدار التجميع تخفيض الأبعاد تقدير الكثافة كشف الشذوذ تنظيف البيانات التعلم الآلي التلقائي قواعد الجمعية التحليل الدلالي التنبؤ المنظم هندسة المميزات ميزة التعلم تعلم الترتيب الاستدلال النحوي Ontology learning Multimodal learning
Supervised learning (classification • regression) Apprenticeship learning Decision trees Ensembles Bagging Boosting Random forest k-NN Linear regression Naive Bayes Artificial neural networks Logistic regression Perceptron Relevance vector machine (RVM) Support vector machine (SVM)
Clustering BIRCH CURE Hierarchical k-means Fuzzy Expectation–maximization (EM) DBSCAN OPTICS Mean shift
Dimensionality reduction Factor analysis CCA ICA LDA NMF PCA PGD t-SNE SDL
Structured prediction Graphical models Bayes net Conditional random field Hidden Markov
Anomaly detection RANSAC k-NN Local outlier factor Isolation forest
Artificial neural network Autoencoder Deep learning Feedforward neural network Recurrent neural network LSTM GRU ESN reservoir computing Boltzmann machine Restricted GAN Diffusion model SOM Convolutional neural network U-Net LeNet AlexNet DeepDream Neural radiance field Transformer Vision Mamba Spiking neural network Memtransistor Electrochemical RAM (ECRAM)
Reinforcement learning Q-learning SARSA Temporal difference (TD) Multi-agent Self-play
Learning with humans Active learning Crowdsourcing Human-in-the-loop RLHF
Model diagnostics Coefficient of determination Confusion matrix Learning curve ROC curve
Mathematical foundations Kernel machines Bias–variance tradeoff Computational learning theory Empirical risk minimization Occam learning PAC learning Statistical learning VC theory
Journals and conferences ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
Related articles Glossary of artificial intelligence List of datasets for machine-learning research List of datasets in computer vision and image processing Outline of machine learning
v t e

التنبؤ المنظم أو التعلم المنظم (الناتج) هو مصطلح شامل لتقنيات التعلم الآلي الخاضعة للإشراف والتي تتضمن التنبؤ بالأشياء المنظمة، بدلاً من القيم المنفصلة أو الحقيقية القياسية . ^[1]

على غرار تقنيات التعلم الخاضع للإشراف المستخدمة بشكل شائع، يتم تدريب نماذج التنبؤ المنظمة عادةً من خلال البيانات المرصودة حيث يتم استخدام قيمة التنبؤ الحقيقية لضبط معلمات النموذج. ونظرًا لتعقيد النموذج والعلاقات المتبادلة بين المتغيرات المتوقعة، فإن عملية التنبؤ باستخدام نموذج مدرب والتدريب نفسه غالبًا ما تكون غير قابلة للتطبيق من الناحية الحسابية ويتم استخدام أساليب الاستدلال والتعلم التقريبية.

على سبيل المثال، يمكن اعتبار مشكلة ترجمة جملة لغة طبيعية إلى تمثيل نحوي مثل شجرة التحليل مشكلة تنبؤ منظمة ^[2] حيث يكون مجال الإخراج المنظم هو مجموعة جميع أشجار التحليل الممكنة. كما يتم استخدام التنبؤ المنظم في مجموعة واسعة من مجالات التطبيق بما في ذلك المعلوماتية الحيوية ومعالجة اللغة الطبيعية والتعرف على الكلام ورؤية الكمبيوتر .

إن وسم التسلسل هو فئة من المشاكل الشائعة في معالجة اللغة الطبيعية ، حيث تكون بيانات الإدخال غالبًا عبارة عن تسلسلات (مثل جمل من النص). تظهر مشكلة وسم التسلسل في عدة أشكال، مثل وسم أجزاء الكلام والتعرف على الكيانات المسماة . في وسم POS، على سبيل المثال، يجب أن تتلقى كل كلمة في التسلسل "وسمًا" (علامة فئة) تعبر عن "نوع" الكلمة:

هذا	دي تي
يكون	في بي زد
أ	دي تي
مُوسَم	جيه جيه
جملة	ن ن
.	.

التحدي الرئيسي لهذه المشكلة هو حل الغموض : يمكن لكلمة "sentence" أيضًا أن تكون فعلًا في اللغة الإنجليزية، كما يمكن أن تكون كلمة "tagged" أيضًا فعلًا.

في حين يمكن حل هذه المشكلة ببساطة عن طريق إجراء تصنيف للرموز الفردية، فإن هذا النهج لا يأخذ في الاعتبار الحقيقة التجريبية المتمثلة في أن العلامات لا تحدث بشكل مستقل؛ بدلاً من ذلك، يعرض كل علامة اعتمادًا شرطيًا قويًا على علامة الكلمة السابقة. يمكن استغلال هذه الحقيقة في نموذج تسلسل مثل نموذج ماركوف المخفي أو الحقل العشوائي الشرطي ^[2] الذي يتنبأ بتسلسل العلامات بالكامل للجملة، بدلاً من العلامات الفردية فقط، عن طريق خوارزمية فيتربي .

تشكل النماذج الرسومية الاحتمالية فئة كبيرة من نماذج التنبؤ المنظمة. وعلى وجه الخصوص، تعد الشبكات البايزية والحقول العشوائية شائعة الاستخدام. وتشمل الخوارزميات والنماذج الأخرى للتنبؤ المنظم البرمجة المنطقية الاستقرائية ، والاستدلال القائم على الحالات ، وآلات المتجهات المتجهية المنظمة ، وشبكات منطق ماركوف ، والمنطق الناعم الاحتمالي ، والنماذج الشرطية المقيدة . التقنيات الرئيسية:

• حقل عشوائي مشروط
• آلة دعم المتجهات المنظمة
• أقرب الجيران المنظمين
• الشبكة العصبية المتكررة ، وخاصة شبكة إلمان

واحدة من أسهل الطرق لفهم الخوارزميات للتنبؤ المنظم العام هي الخوارزمية المنظمة لكولينز . ^​​[3] تجمع هذه الخوارزمية بين خوارزمية الخوارزمية لتعلم المصنفات الخطية مع خوارزمية الاستدلال ( خوارزمية فيتربي الكلاسيكية عند استخدامها على بيانات التسلسل) ويمكن وصفها تجريديًا على النحو التالي. أولاً، قم بتعريف "دالة الميزة المشتركة" Φ( x ، y ) التي تقوم بتعيين عينة تدريب x وتنبؤ مرشح y إلى متجه بطول n ( قد يكون لـ x و y أي بنية؛ n تعتمد على المشكلة، ولكن يجب إصلاحها لكل نموذج). دع GEN تكون دالة تولد تنبؤات مرشحة. ثم:

ليكن متجه وزن بطول n${\displaystyle w}$

لعدد محدد مسبقًا من التكرارات:

لكل عينة في مجموعة التدريب ذات الإخراج الحقيقي :${\displaystyle x}$${\displaystyle t}$

قم بالتنبؤ${\displaystyle {\hat {y}}={\operatorname {arg\,max} }\,\{{y}\in {GEN}({x})\}\,({w}^{T}\,\phi ({x},{y}))}$

التحديث من إلى : هو معدل التعلم${\displaystyle w}$${\displaystyle {\hat {y}}}$${\displaystyle t}$${\displaystyle {w}={w}+{c}(-\phi ({x},{\hat {y}})+\phi ({x},{t}))}$${\displaystyle c}$

في الممارسة العملية، سيتم العثور على argmax over باستخدام خوارزمية مثل Viterbi أو خوارزمية مثل max-sum ، بدلاً من البحث الشامل من خلال مجموعة كبيرة بشكل كبير من المرشحين. ${\displaystyle {GEN}({x})}$

فكرة التعلم تشبه فكرة الإدراك متعدد الفئات .

• نوح سميث، التنبؤ بالبنية اللغوية، 2011.
• مايكل كولينز، أساليب التدريب التمييزية لنماذج ماركوف المخفية، 2002.

• تنفيذ نظام كولينز المنظم للمدركات