الانحدار الترتيبي

في الإحصاء ، يُعدّ الانحدار الترتيبي ، أو التصنيف الترتيبي ، نوعًا من تحليل الانحدار يُستخدم للتنبؤ بمتغير ترتيبي ، أي متغير تقع قيمته على مقياس اعتباطي حيث يكون الترتيب النسبي بين القيم المختلفة هو المهم فقط. ويمكن اعتباره مسألة وسيطة بين الانحدار والتصنيف . [ ^{1 ] [}^{2 ] ومن} أمثلة الانحدار الترتيبي: اللوجيت المرتب والبروبيت المرتب . ويُستخدم الانحدار الترتيبي بكثرة في العلوم الاجتماعية ، على سبيل المثال في نمذجة مستويات التفضيل البشري (على مقياس من 1 إلى 5، مثلاً من "سيئ جدًا" إلى "ممتاز")، وكذلك في استرجاع المعلومات . وفي مجال تعلم الآلة ، يُطلق على الانحدار الترتيبي أيضًا اسم تعلم الترتيب . ^{[ 3 ]}^{[ أ ]}

النماذج الخطية للانحدار الترتيبي

يمكن إجراء الانحدار الترتيبي باستخدام نموذج خطي معمّم (GLM) يُلائم كلاً من متجه المعاملات ومجموعة من العتبات لمجموعة البيانات. لنفترض أن لدينا مجموعة من المشاهدات، ممثلة بمتجهات طولها $p$ $من x₁$ إلى $xₙ$ ، مع استجابات مرتبطة بها من y₁ إلى $yₙ$ $،$ $حيث$ $يمثل$ $كل$ yᵢ متغيرًا $ترتيبيًا$ على مقياس $من$ $1 إلى$ $K. ولتبسيط$ $الأمر$ ، ودون فقدان للعمومية، نفترض $أن$ $yᵢ$ متجه غير متناقص، أي $yᵢ$ $\leq$ . لهذه البيانات، يتم تركيب متجه معاملات $w$ $بطول p$ ومجموعة من العتبات $θ$ $1$ $، ...،$ $θ$ $K$ $-1$ بحيث تكون $θ$ $1$ $<$ $θ$ $2$ $< ... <$ $θ$ $K$ $-1$ . تقسم هذه المجموعة من العتبات خط الأعداد الحقيقية إلى $K$ أجزاء منفصلة، تتوافق مع مستويات الاستجابة $K.$

يمكن الآن صياغة النموذج على النحو التالي

\Pr(y\leq i\mid \mathbf {x} )=\sigma (\theta _{i}-\mathbf {w} \cdot \mathbf {x} )

أو، يُعطى الاحتمال التراكمي للاستجابة $y$ التي لا تتجاوز $i بواسطة دالة$ $σ ($ دالة الربط العكسية ) المطبقة على دالة خطية لـ $x$ . توجد عدة خيارات لـ $σ$ ؛ الدالة اللوجستية

\sigma (\theta _{i}-\mathbf {w} \cdot \mathbf {x} )={\frac {1}{1+e^{-(\theta _{i}-\mathbf {w} \cdot \mathbf {x} )}}}

يُعطي نموذج اللوجيت المرتب ، بينما يُعطي استخدام دالة التوزيع التراكمي للتوزيع الطبيعي القياسي نموذج البروبيت المرتب . وثمة خيار ثالث يتمثل في استخدام دالة أسية.

\sigma (\theta _{i}-\mathbf {w} \cdot \mathbf {x} )=1-\exp(-\exp(\theta _{i}-\mathbf {w} \cdot \mathbf {x} ))

مما يعطي نموذج المخاطر النسبية . ^{[ 4 ]}

نموذج المتغيرات الكامنة

يمكن تبرير نسخة بروبيت من النموذج أعلاه بافتراض وجود متغير كامن ذي قيمة حقيقية (كمية غير ملحوظة) $y*$ ، يتم تحديده بواسطة ^{[ 5 ]}

y^{*}=\mathbf {w} \cdot \mathbf {x} +\varepsilon

حيث أن ε $موزعة$ توزيعًا طبيعيًا بمتوسط صفر وتباين يساوي واحدًا، بشرط $x$ . ينتج المتغير التابع $y$ من "قياس غير كامل" لـ $y*$ ، حيث يتم تحديد الفترة التي يقع فيها $y*$ فقط :

y={\begin{cases}1&{\text{if}}~~y^{*}\leq \theta _{1},\\2&{\text{if}}~~\theta _{1}<y^{*}\leq \theta _{2},\\3&{\text{if}}~~\theta _{2}<y^{*}\leq \theta _{3}\\\vdots \\K&{\text{if}}~~\theta _{K-1}<y^{*}.\end{cases}}

بتعريف $θ 0 = -\infty$ و $θ K = \infty$ ، يمكن تلخيص ما سبق على النحو التالي: $y = k$ إذا وفقط إذا كان $θ k -1 < y * \leq θ k$ .

انطلاقاً من هذه الافتراضات، يمكن للمرء أن يستنتج التوزيع الشرطي لـ $y$ على النحو التالي ^{[ 5 ]}

{\begin{aligned}P(y=k\mid \mathbf {x} )&=P(\theta _{k-1}<y^{*}\leq \theta _{k}\mid \mathbf {x} )\\&=P(\theta _{k-1}<\mathbf {w} \cdot \mathbf {x} +\varepsilon \leq \theta _ {k})\\&=\Phi (\theta _{k}-\mathbf {w} \cdot \mathbf {x} )-\Phi (\theta _{k-1}-\mathbf {w} \cdot \mathbf {x} )\end{محاذاة}}

حيث $Φ$ هي دالة التوزيع التراكمي للتوزيع الطبيعي القياسي، وتأخذ دور دالة الربط العكسية $σ$ . ويمكن الآن التعبير عن دالة $الاحتمال$ اللوغاريتمي للنموذج لمثال تدريبي واحد $xᵢ$ , $yᵢ على النحو التالي$ ^[⁵^] $.$

\log {\mathcal {L}}(\mathbf {w} ,\mathbf {\theta} \mid \mathbf {x} _{i},y_{i})=\sum _{k=1}^{K[y_{i}=k]\log[\Phi (\theta _{k}-\mathbf {w} \cdot \mathbf {x} _ {i})-\Phi (\theta _{k-1}-\mathbf {w} \cdot \mathbf {x} _{i})]

(باستخدام قوس إيفرسون $[y i = k]$ .) إن دالة الاحتمال اللوغاريتمي لنموذج اللوجيت المرتب مماثلة، باستخدام الدالة اللوجستية بدلاً من $Φ$ . ^{[ 6 ]}

نماذج بديلة

في مجال تعلم الآلة، طُرحت بدائل لنماذج المتغيرات الكامنة في الانحدار الترتيبي. ومن النتائج المبكرة نموذج PRank، وهو نوع مُعدّل من خوارزمية البيرسيبترون ، حيث وجد مستويات فائقة متوازية متعددة تفصل بين الرتب المختلفة؛ ويُخرج هذا النموذج متجه أوزان $w$ ومتجهًا مُرتبًا من $K - 1$ عتبة $θ$ ، كما هو الحال في نماذج اللوجيت/البروبيت المرتبة. وتتمثل قاعدة التنبؤ لهذا النموذج في إخراج أصغر رتبة $k$ بحيث يكون $wx < θ k$ . ^{[ 7 ]}

تعتمد طرق أخرى على مبدأ التعلم ذي الهامش الكبير الذي يقوم عليه أيضًا آلات المتجهات الداعمة . ^{[ 8 ]}^{[ 9 ]}

يقدم ريني وسريبرو نهجًا آخر، حيث أدركا أن "مجرد تقييم احتمالية المتنبئ ليس بالأمر السهل" في نماذج الانحدار اللوجستي المرتب والانحدار اللوجستي المرتب، واقترحا ملاءمة نماذج الانحدار الترتيبي عن طريق تكييف دوال الخسارة الشائعة من التصنيف (مثل خسارة المفصل وخسارة اللوغاريتم ) مع الحالة الترتيبية. ^{[ 10 ]}

برمجة

ORCA (خوارزميات الانحدار والتصنيف الترتيبي) هو إطار عمل Octave/MATLAB يتضمن مجموعة واسعة من طرق الانحدار الترتيبي. ^{[ 11 ]}

تتضمن حزم R التي توفر أساليب الانحدار الترتيبي MASS ^{[ 12 ]} و Rstan و brms و Ordinal. ^{[ 13 ]}

انظر أيضاً

ملحوظات

↑ لا ينبغي الخلط بين هذا وبين تعلم كيفية الترتيب .

مراجع

↑ وينشيب، كريستوفر؛ مار، روبرت د. (1984). "نماذج الانحدار مع المتغيرات الترتيبية" (ملف PDF) . المجلة الأمريكية لعلم الاجتماع . 49 (4): 512-525 . doi : 10.2307/2095465 . JSTOR 2095465 .
^ جوتيريز، بنسلفانيا؛ بيريز أورتيز، م.؛ سانشيز مونيديرو، J .؛ فرنانديز نافارو، ف.؛ هيرفاس مارتينيز، سي. (يناير 2016). “أساليب الانحدار الترتيبي: المسح والدراسة التجريبية”. معاملات IEEE على المعرفة وهندسة البيانات . 28 (1): 127-146 . دوى : 10.1109/TKDE.2015.2457911 . اتش دي ال : 10396/14494 . ردمك 1041-4347 .
↑ شاشوا، أمنون؛ ليفين، أنات (2002). الترتيب باستخدام مبدأ الهامش الكبير: منهجان . NIPS .
↑ ماكولاغ، بيتر (1980). "نماذج الانحدار للبيانات الترتيبية". مجلة الجمعية الإحصائية الملكية . السلسلة ب (المنهجية). 42 (2): 109-142 .
1 2 3 وولدريدج، جيفري م. (2010). التحليل الاقتصادي القياسي لبيانات المقاطع العرضية وبيانات اللوحات . مطبعة معهد ماساتشوستس للتكنولوجيا. ص 655-657 . ISBN 9780262232586.
↑ أغريستي، آلان (23 أكتوبر 2010). "نمذجة البيانات الفئوية الترتيبية" (ملف PDF) . تم الاطلاع عليه في 23 يوليو 2015 .
↑ كرامر، كوبي؛ سينغر، يورام (2001). المزاح بالتصنيف . NIPS.
^ تشو، وي؛ كيرثي، س. ساتيا (2007). "دعم الانحدار الترتيبي المتجه". الحساب العصبي . 19 (3): 792-815 . سايتسيركس 10.1.1.297.3637 . دوى : 10.1162/neco.2007.19.3.792 . بميد 17298234 .
↑ هيربريتش، رالف؛ غرايبيل، ثور؛ أوبرماير، كلاوس (2000). "حدود الرتبة ذات الهامش الكبير للانحدار الترتيبي" . التطورات في مصنفات الهامش الكبير . مطبعة معهد ماساتشوستس للتكنولوجيا. ص 115-132 .
↑ ريني، جيسون دي إم؛ سريبرو، ناثان (2005). دوال الخسارة لمستويات التفضيل: الانحدار مع التصنيفات المرتبة المنفصلة (ملف PDF) . وقائع ورشة العمل متعددة التخصصات التابعة للمؤتمر الدولي المشترك للذكاء الاصطناعي حول التطورات في معالجة التفضيلات.
↑ أوركا: خوارزميات الانحدار والتصنيف الترتيبي ، AYRNA، 21-11-2017 ، تم الاطلاع عليه في 21-11-2017
↑ "الإحصاء التطبيقي الحديث باستخدام لغة S، الطبعة الرابعة" . www.stats.ox.ac.uk . تاريخ الاسترجاع: 15 يوليو 2020 .
↑ كريستنسن، رون هاوبو ب. (2020-06-05)، runehaubo/ordinal ، تم الاسترجاع في 2020-07-15

للمزيد من القراءة

أغريستي، آلان (2010). تحليل البيانات الفئوية الترتيبية . هوبوكين، نيوجيرسي: وايلي. ISBN 978-0470082898.
غرين، ويليام هـ. (2012). التحليل الاقتصادي القياسي ( الطبعة السابعة). بوسطن: بيرسون للتعليم. الصفحات 824-842 . ISBN 978-0-273-75356-8.
هاردين، جيمس؛ هيلبي، جوزيف (2007). النماذج الخطية المعممة وامتداداتها ( الطبعة الثانية). كوليدج ستيشن: ستاتا برس. ISBN 978-1-59718-014-6.{{cite book}}: CS1 maint: publisher location ( link )

[4] لا ينبغي الخلط بين هذا وبين تعلم كيفية الترتيب .

[1] وينشيب، كريستوفر؛ مار، روبرت د. (1984). "نماذج الانحدار مع المتغيرات الترتيبية" (ملف PDF) . المجلة الأمريكية لعلم الاجتماع . 49 (4): 512-525 . doi : 10.2307/2095465 . JSTOR 2095465 .

[2] جوتيريز، بنسلفانيا؛ بيريز أورتيز، م.؛ سانشيز مونيديرو، J .؛ فرنانديز نافارو، ف.؛ هيرفاس مارتينيز، سي. (يناير 2016). “أساليب الانحدار الترتيبي: المسح والدراسة التجريبية”. معاملات IEEE على المعرفة وهندسة البيانات . 28 (1): 127-146 . دوى : 10.1109/TKDE.2015.2457911 . اتش دي ال : 10396/14494 . ردمك 1041-4347 .

[3] شاشوا، أمنون؛ ليفين، أنات (2002). الترتيب باستخدام مبدأ الهامش الكبير: منهجان . NIPS .

[mccullagh-5] ماكولاغ، بيتر (1980). "نماذج الانحدار للبيانات الترتيبية". مجلة الجمعية الإحصائية الملكية . السلسلة ب (المنهجية). 42 (2): 109-142 .

[wooldridge-6] 1 2 3 وولدريدج، جيفري م. (2010). التحليل الاقتصادي القياسي لبيانات المقاطع العرضية وبيانات اللوحات . مطبعة معهد ماساتشوستس للتكنولوجيا. ص 655-657 . ISBN 9780262232586.

[7] أغريستي، آلان (23 أكتوبر 2010). "نمذجة البيانات الفئوية الترتيبية" (ملف PDF) . تم الاطلاع عليه في 23 يوليو 2015 .

[8] كرامر، كوبي؛ سينغر، يورام (2001). المزاح بالتصنيف . NIPS.

[9] تشو، وي؛ كيرثي، س. ساتيا (2007). "دعم الانحدار الترتيبي المتجه". الحساب العصبي . 19 (3): 792-815 . سايتسيركس 10.1.1.297.3637 . دوى : 10.1162/neco.2007.19.3.792 . بميد 17298234 .

[10] هيربريتش، رالف؛ غرايبيل، ثور؛ أوبرماير، كلاوس (2000). "حدود الرتبة ذات الهامش الكبير للانحدار الترتيبي" . التطورات في مصنفات الهامش الكبير . مطبعة معهد ماساتشوستس للتكنولوجيا. ص 115-132 .

[11] ريني، جيسون دي إم؛ سريبرو، ناثان (2005). دوال الخسارة لمستويات التفضيل: الانحدار مع التصنيفات المرتبة المنفصلة (ملف PDF) . وقائع ورشة العمل متعددة التخصصات التابعة للمؤتمر الدولي المشترك للذكاء الاصطناعي حول التطورات في معالجة التفضيلات.

[12] أوركا: خوارزميات الانحدار والتصنيف الترتيبي ، AYRNA، 21-11-2017 ، تم الاطلاع عليه في 21-11-2017

[13] "الإحصاء التطبيقي الحديث باستخدام لغة S، الطبعة الرابعة" . www.stats.ox.ac.uk . تاريخ الاسترجاع: 15 يوليو 2020 .

[14] كريستنسن، رون هاوبو ب. (2020-06-05)، runehaubo/ordinal ، تم الاسترجاع في 2020-07-15

1 ] [

2 ] ومن

[ 3 ]

[ أ ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

اللغة	العربية (RTL)
روابط موسوعية	30 رابطاً
المصدر الأصلي	ويكيبيديا ↗