الانحدار اللوجستي متعدد الحدود

توجد عدة طرق متكافئة لوصف النموذج الرياضي الذي يقوم عليه الانحدار اللوجستي متعدد الحدود. وهذا ما قد يُصعّب مقارنة المعالجات المختلفة للموضوع في النصوص المختلفة. تُقدّم المقالة الخاصة بالانحدار اللوجستي عددًا من الصيغ المتكافئة للانحدار اللوجستي البسيط، والعديد منها له نظائر في نموذج اللوجيت متعدد الحدود.

الفكرة الكامنة وراء كل هذه التقنيات، كما هو الحال في العديد من تقنيات التصنيف الإحصائي الأخرى ، هي بناء دالة تنبؤ خطية تقوم بإنشاء درجة من مجموعة من الأوزان التي يتم دمجها خطيًا مع المتغيرات التفسيرية (الميزات) لملاحظة معينة باستخدام الضرب النقطي :

${\displaystyle \operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},}$

حيث يمثل Xᵢ _متجه المتغيرات التفسيرية التي تصف الملاحظة i ، _و βᵏ متجه الأوزان (أو معاملات الانحدار ) المقابلة للنتيجة k ، وscore( Xᵢ _, k ) الدرجة المرتبطة بتصنيف الملاحظة i ضمن الفئة k . في نظرية الاختيار المنفصل ، حيث تمثل الملاحظات الأفراد وتمثل النتائج الخيارات، تُعتبر الدرجة هي المنفعة المرتبطة باختيار الشخص i للنتيجة k . والنتيجة المتوقعة هي تلك التي تحصل على أعلى درجة.

يكمن الفرق بين نموذج الانحدار اللوجستي متعدد الحدود والعديد من الطرق والنماذج والخوارزميات الأخرى ذات البنية الأساسية نفسها (مثل خوارزمية البيرسيبترون ، وآلات المتجهات الداعمة ، وتحليل التمييز الخطي ، وغيرها) في آلية تحديد (تدريب) الأوزان/المعاملات المثلى وكيفية تفسير النتيجة. ففي نموذج الانحدار اللوجستي متعدد الحدود، يمكن تحويل النتيجة مباشرةً إلى قيمة احتمالية، تشير إلى احتمال اختيار الملاحظة i للنتيجة k بناءً على خصائص الملاحظة المقاسة. وهذا يوفر طريقة منهجية لدمج تنبؤات نموذج الانحدار اللوجستي متعدد الحدود في إجراء أوسع قد يتضمن تنبؤات متعددة، لكل منها احتمال الخطأ. وبدون هذه الوسائل لدمج التنبؤات، تميل الأخطاء إلى التضاعف. على سبيل المثال، تخيل نموذجًا تنبؤيًا كبيرًا مُقسّمًا إلى سلسلة من النماذج الفرعية، حيث يُستخدم تنبؤ نموذج فرعي مُحدد كمدخل لنموذج فرعي آخر، ويُستخدم هذا التنبؤ بدوره كمدخل لنموذج فرعي ثالث، وهكذا. إذا كانت دقة كل نموذج فرعي 90% في تنبؤاته، وكان هناك خمسة نماذج فرعية متسلسلة، فإن دقة النموذج الكلي تبلغ 59% فقط (0.9 × ⁵ ). أما إذا كانت دقة كل نموذج فرعي 80%، فإن الدقة الكلية تنخفض إلى 33 % (0.8 × ⁵ ). تُعرف هذه المشكلة باسم انتشار الخطأ ، وهي مشكلة خطيرة في النماذج التنبؤية الواقعية، التي تتكون عادةً من أجزاء عديدة. يُعدّ التنبؤ باحتمالات كل نتيجة مُمكنة، بدلًا من الاكتفاء بتنبؤ واحد مثالي، أحد الوسائل للتخفيف من هذه المشكلة.

الإعداد الأساسي هو نفسه في الانحدار اللوجستي ، والفرق الوحيد هو أن المتغيرات التابعة فئوية وليست ثنائية ، أي أن هناك K نتيجة محتملة بدلاً من نتيجتين فقط. الوصف التالي مختصر نوعًا ما؛ لمزيد من التفاصيل، راجع مقالة الانحدار اللوجستي .

للوصول إلى نموذج الانحدار اللوجستي متعدد الحدود، يمكن تصور، لعدد K من النتائج المحتملة، تشغيل K من نماذج الانحدار اللوجستي الثنائي المستقلة، حيث يتم اختيار نتيجة واحدة كـ "محور"، ثم يتم انحدار النتائج K  −  1 الأخرى بشكل منفصل مقابل نتيجة المحور. إذا تم اختيار النتيجة K (النتيجة الأخيرة) كمحور، فإن معادلات الانحدار K  − 1 هي: 

${\displaystyle \ln {\frac {\Pr(Y_{i}=k)}{\Pr(Y_{i}=K)}}\,=\,{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},\;\;\;\;\;\;1\leq k<K}$.

تُعرف هذه الصيغة أيضاً باسم تحويل النسبة اللوغاريتمية الجمعية، وهو شائع الاستخدام في تحليل البيانات التركيبية. وفي تطبيقات أخرى، يُشار إليها باسم "المخاطر النسبية". ^{[ 7 ]}

إذا رفعنا كلا الطرفين إلى الأس وحلنا المعادلة لإيجاد الاحتمالات، فسنحصل على:

${\displaystyle \Pr(Y_{i}=k)\,=\,{\Pr(Y_{i}=K)}\;e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}},\;\;\;\;\;\;1\leq k<K}$

باستخدام حقيقة أن مجموع جميع الاحتمالات K يجب أن يساوي واحدًا، نجد:

$\begin{aligned}\Pr(Y_{i}=K)={}&1-\sum _{j=1}^{K-1}\Pr(Y_{i}=j)\\={}&1-\sum _{j=1}^{K-1}{\Pr(Y_{i}=K)}\;e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}\;\;\Rightarrow \;\;\Pr(Y_{i}=K)\\={}&{\frac {1}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

يمكننا استخدام هذا لإيجاد الاحتمالات الأخرى:

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}},\;\;\;\;\;\;1\leq k<K}$.

إن حقيقة قيامنا بإجراء عمليات انحدار متعددة تكشف سبب اعتماد النموذج على افتراض استقلال البدائل غير ذات الصلة الموصوفة أعلاه.

عادةً ما تُقدَّر المعاملات المجهولة في كل متجه β _k بشكل مشترك باستخدام تقدير الاحتمال اللاحق الأقصى (MAP)، وهو امتداد لتقدير الاحتمال الأقصى باستخدام تنظيم الأوزان لمنع الحلول الشاذة (عادةً ما تكون دالة تنظيم تربيعية، وهي مكافئة لوضع توزيع غاوسي مسبق بمتوسط ​​صفري على الأوزان، ولكن التوزيعات الأخرى ممكنة أيضًا). ويتم إيجاد الحل عادةً باستخدام إجراء تكراري مثل التحجيم التكراري المعمم ، ^{[ 8 ]} أو المربعات الصغرى الموزونة تكراريًا (IRLS)، ^{[ 9 ]} أو عن طريق خوارزميات التحسين القائمة على التدرج مثل L-BFGS ، ^{[ 4 ]} أو عن طريق خوارزميات هبوط الإحداثيات المتخصصة . ^{[ 10 ]}

يمكن توسيع صياغة الانحدار اللوجستي الثنائي كنموذج لوغاريتمي خطي مباشرةً إلى الانحدار متعدد الاتجاهات. أي أننا نقوم بنمذجة لوغاريتم احتمال رؤية مخرج معين باستخدام المتنبئ الخطي بالإضافة إلى عامل تطبيع إضافي ، وهو لوغاريتم دالة التقسيم .

${\displaystyle \ln \Pr(Y_{i}=k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}-\ln Z,\;\;\;\;\;\;1\leq k\leq K.}$

كما هو الحال في النظام الثنائي، نحتاج إلى حد إضافي${\displaystyle -\ln Z}$لضمان أن تشكل مجموعة الاحتمالات بأكملها توزيعًا احتماليًا ، أي بحيث يكون مجموعها جميعًا واحدًا:

${\displaystyle \sum _{k=1}^{K}\Pr(Y_{i}=k)=1}$

السبب في حاجتنا إلى إضافة حد لضمان التوحيد، بدلاً من الضرب كما هو معتاد، هو أننا أخذنا لوغاريتم الاحتمالات. رفع كلا الطرفين إلى الأس يحول الحد الجمعي إلى عامل ضربي، بحيث يكون الاحتمال هو مقياس جيبس ​​فقط .

${\displaystyle \Pr(Y_{i}=k)={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}},\;\;\;\;\;\;1\leq k\leq K.}$

تُسمى الكمية Z دالة التوزيع. ويمكننا حساب قيمة دالة التوزيع بتطبيق القيد المذكور أعلاه الذي يشترط أن يكون مجموع جميع الاحتمالات مساوياً لـ 1.

${\displaystyle 1=\sum _{k=1}^{K}\Pr(Y_{i}=k)\;=\;\sum _{k=1}^{K}{\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}\;=\;{\frac {1}{Z}}\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}.}$

لذلك

${\displaystyle Z=\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}.}$

لاحظ أن هذا العامل "ثابت" بمعنى أنه ليس دالة لـ Yᵢ _، وهو المتغير الذي يُعرَّف عليه التوزيع الاحتمالي. مع ذلك، فهو بالتأكيد ليس ثابتًا بالنسبة للمتغيرات التفسيرية، أو الأهم من ذلك، بالنسبة لمعاملات الانحدار المجهولة βₖ _، والتي سنحتاج إلى تحديدها من خلال إجراء تحسين ما .

المعادلات الناتجة للاحتمالات هي

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}},\;\;\;\;\;\;1\leq k\leq K.}$

الوظيفة التالية:

${\displaystyle \operatorname {softmax} (k,s_{1},\ldots ,s_{K})={\frac {e^{s_{k}}}{\sum _{j=1}^{K}e^{s_{j}}}}}$

تُعرف هذه الدالة باسم دالة softmax . والسبب هو أن تأثير رفع القيم إلى الأس يكون أقل.${\displaystyle s_{1},\ldots ,s_{K}}$إن ذلك يعني المبالغة في الفروقات بينهما. ونتيجة لذلك،${\displaystyle \operatorname {softmax} (k,s_{1},\ldots ,s_{K})}$ستُعيد قيمة قريبة من الصفر كلما${\displaystyle s_{k}}$تكون هذه القيمة أقل بكثير من القيمة القصوى لجميع القيم، وستُعيد قيمة قريبة من 1 عند تطبيقها على القيمة القصوى، إلا إذا كانت قريبة جدًا من القيمة الأكبر التالية. وبالتالي، يمكن استخدام دالة softmax لإنشاء متوسط ​​مرجح يتصرف كدالة سلسة (يمكن اشتقاقها بسهولة ، وما إلى ذلك) ويُقارب دالة المؤشر.

${\displaystyle f(k)={\begin{cases}1&{\textrm {if}}\;k=\operatorname {\arg \max } _{j}s_{j},\\0&{\textrm {otherwise}}.\end{cases}}}$

وبالتالي، يمكننا كتابة معادلات الاحتمال على النحو التالي

${\displaystyle \Pr(Y_{i}=k)=\operatorname {softmax} (k,{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\ldots ,{\boldsymbol {\beta }}_{K}\cdot \mathbf {X} _{i})}$

وبالتالي، فإن دالة softmax تعمل كمكافئ للدالة اللوجستية في الانحدار اللوجستي الثنائي.

لاحظ أن ليس كل${\displaystyle {\boldsymbol {\beta }}_{k}}$متجهات المعاملات قابلة للتحديد بشكل فريد . ويعود ذلك إلى أن مجموع جميع الاحتمالات يجب أن يساوي 1، مما يجعل أحدها محددًا تمامًا بمجرد معرفة جميع الاحتمالات الأخرى. ونتيجة لذلك، لا يوجد سوى${\displaystyle K-1}$احتمالات قابلة للتحديد بشكل منفصل، وبالتالي${\displaystyle K-1}$متجهات معاملات قابلة للتحديد بشكل منفصل. إحدى طرق توضيح ذلك هي ملاحظة أنه إذا أضفنا متجهًا ثابتًا إلى جميع متجهات المعاملات، فإن المعادلات ستكون متطابقة:

${\displaystyle {\begin{aligned}{\frac {e^{({\boldsymbol {\beta }}_{k}+\mathbf {C} )\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{({\boldsymbol {\beta }}_{j}+\mathbf {C} )\cdot \mathbf {X} _{i}}}}&={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}}\\&={\frac {e^{\mathbf {C} \cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{e^{\mathbf {C} \cdot \mathbf {X} _{i}}\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}\\&={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}\end{aligned}}}$

ونتيجة لذلك، من المتعارف عليه تحديد${\displaystyle \mathbf {C} =-{\boldsymbol {\beta }}_{K}}$(أو بدلاً من ذلك، أحد متجهات المعاملات الأخرى). في الأساس، نضبط الثابت بحيث يصبح أحد المتجهات${\displaystyle {\boldsymbol {0}}}$وتُحوَّل جميع المتجهات الأخرى إلى الفرق بينها وبين المتجه الذي اخترناه. وهذا يُعادل "التمحور" حول أحد الخيارات K ، ودراسة مدى تفوق أو تدهور جميع الخيارات K  −  1 الأخرى، مقارنةً بالخيار الذي نركز عليه. رياضيًا، نُحوِّل المعاملات كما يلي:

${\displaystyle {\begin{aligned}{\boldsymbol {\beta }}'_{k}&={\boldsymbol {\beta }}_{k}-{\boldsymbol {\beta }}_{K},\;\;\;\;1\leq k<K,\\{\boldsymbol {\beta }}'_{K}&=0.\end{aligned}}}$

وهذا يؤدي إلى المعادلات التالية:

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}'_{k}\cdot \mathbf {X} _{i}}}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}'_{j}\cdot \mathbf {X} _{i}}}},\;\;\;\;\;\;1\leq k\leq K}$

بخلاف الرموز المميزة على معاملات الانحدار، فإن هذا هو نفسه تمامًا شكل النموذج الموصوف أعلاه، من حيث K  −  1 من الانحدارات الثنائية المستقلة.

من الممكن أيضاً صياغة الانحدار اللوجستي متعدد الحدود كنموذج متغير كامن، على غرار نموذج المتغير الكامن ثنائي الاتجاه الموصوف للانحدار اللوجستي الثنائي. هذه الصياغة شائعة في نظرية نماذج الاختيار المنفصل ، وتسهل مقارنة الانحدار اللوجستي متعدد الحدود بنموذج بروبيت متعدد الحدود ذي الصلة ، فضلاً عن إمكانية توسيعه ليشمل نماذج أكثر تعقيداً.

تخيل أنه لكل نقطة بيانات i ونتيجة محتملة k  =  1,2,..., K ، يوجد متغير كامن مستمر Y _i,k ^* (أي متغير عشوائي غير ملاحظ ) يتم توزيعه على النحو التالي:

${\displaystyle Y_{i,k}^{\ast }={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}+\varepsilon _{k}\;\;\;\;,\;\;k\leq K}$

أين${\displaystyle \varepsilon _{k}\sim \operatorname {EV} _{1}(0,1),}$أي توزيع القيم المتطرفة من النوع الأول القياسي .

يمكن اعتبار هذا المتغير الكامن بمثابة المنفعة المرتبطة باختيار نقطة البيانات i للنتيجة k ، حيث يوجد قدر من العشوائية في مقدار المنفعة الفعلية المُتحصل عليها، وهو ما يفسر العوامل الأخرى غير المُنمذجة التي تدخل في الاختيار. قيمة المتغير الفعلي${\displaystyle Y_{i}}$ثم يتم تحديدها بطريقة غير عشوائية من هذه المتغيرات الكامنة (أي تم نقل العشوائية من النتائج المرصودة إلى المتغيرات الكامنة)، حيث يتم اختيار النتيجة k إذا وفقط إذا كانت المنفعة المرتبطة بها (قيمة${\displaystyle Y_{i,k}^{\ast }}$تكون قيمة المنفعة المرتبطة بالنتيجة k أكبر من منافع جميع الخيارات الأخرى، أي إذا كانت المنفعة المرتبطة بالنتيجة k هي القيمة القصوى بين جميع المنافع. وبما أن المتغيرات الكامنة متصلة ، فإن احتمال تساوي قيمتين منها يساوي صفرًا، لذا نتجاهل هذا السيناريو. أي:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&=\Pr(Y_{i,1}^{\ast }>Y_{i,2}^{\ast }{\text{ and }}Y_{i,1}^{\ast }>Y_{i,3}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,1}^{\ast }>Y_{i,K}^{\ast })\\\Pr(Y_{i}=2)&=\Pr(Y_{i,2}^{\ast }>Y_{i,1}^{\ast }{\text{ and }}Y_{i,2}^{\ast }>Y_{i,3}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,2}^{\ast }>Y_{i,K}^{\ast })\\&\,\,\,\vdots \\\Pr(Y_{i}=K)&=\Pr(Y_{i,K}^{\ast }>Y_{i,1}^{\ast }{\text{ and }}Y_{i,K}^{\ast }>Y_{i,2}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,K}^{\ast }>Y_{i,K-1}^{\ast })\\\end{aligned}}}$

أو ما يعادل ذلك:

${\displaystyle \Pr(Y_{i}=k)\;=\;\Pr(\max(Y_{i,1}^{\ast },Y_{i,2}^{\ast },\ldots ,Y_{i,K}^{\ast })=Y_{i,k}^{\ast })\;\;\;\;,\;\;k\leq K}$

دعونا نلقي نظرة فاحصة على المعادلة الأولى، والتي يمكننا كتابتها على النحو التالي:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&=\Pr(Y_{i,1}^{\ast }>Y_{i,k}^{\ast }\ \forall \ k=2,\ldots ,K)\\&=\Pr(Y_{i,1}^{\ast }-Y_{i,k}^{\ast }>0\ \forall \ k=2,\ldots ,K)\\&=\Pr({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-({\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}+\varepsilon _{k})>0\ \forall \ k=2,\ldots ,K)\\&=\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{k})\cdot \mathbf {X} _{i}>\varepsilon _{k}-\varepsilon _{1}\ \forall \ k=2,\ldots ,K)\end{aligned}}}$

هناك بعض الأمور التي يجب إدراكها هنا:

1. بشكل عام، إذا${\displaystyle X\sim \operatorname {EV} _{1}(a,b)}$و${\displaystyle Y\sim \operatorname {EV} _{1}(a,b)}$ثم${\displaystyle X-Y\sim \operatorname {Logistic} (0,b).}$أي أن الفرق بين متغيرين مستقلين متطابقين في التوزيع، يتبعان توزيع القيم المتطرفة، ويخضعان للتوزيع اللوجستي ، حيث يكون المعامل الأول غير مهم. وهذا أمر مفهوم، لأن المعامل الأول هو معامل الموقع ، أي أنه يُزيح المتوسط ​​بمقدار ثابت، وإذا أُزيحت قيمتان بنفس المقدار، فإن الفرق بينهما يبقى ثابتًا. وهذا يعني أن جميع العلاقات التي تقوم عليها احتمالية اختيار معين تتضمن التوزيع اللوجستي، مما يجعل الاختيار الأولي لتوزيع القيم المتطرفة، الذي بدا عشوائيًا إلى حد ما، أكثر منطقية.
2. المعامل الثاني في التوزيع ذي القيمة القصوى أو التوزيع اللوجستي هو معامل المقياس ، بحيث إذا${\displaystyle X\sim \operatorname {Logistic} (0,1)}$ثم${\displaystyle bX\sim \operatorname {Logistic} (0,b).}$هذا يعني أنه يمكن تعويض تأثير استخدام متغير خطأ بمعامل قياس عشوائي بدلاً من المقياس 1 ببساطة عن طريق ضرب جميع متجهات الانحدار بنفس المقياس. وبالإضافة إلى النقطة السابقة، يُظهر هذا أن استخدام توزيع القيمة القصوى القياسي (الموقع 0، المقياس 1) لمتغيرات الخطأ لا يُفقد النموذج عموميته مقارنةً باستخدام توزيع قيمة قصوى عشوائي. في الواقع، يكون النموذج غير قابل للتحديد (لا توجد مجموعة واحدة من المعاملات المثلى) إذا تم استخدام التوزيع الأكثر عمومية.
3. بما أنه لا يُستخدم سوى فروق متجهات معاملات الانحدار، فإن إضافة ثابت عشوائي إلى جميع متجهات المعاملات لا يؤثر على النموذج. وهذا يعني أنه، كما هو الحال في النموذج اللوغاريتمي الخطي، لا يمكن تحديد سوى K  −  1 من متجهات المعاملات، ويمكن تعيين قيمة عشوائية للمتجه الأخير (مثلاً 0).

في الواقع، يُعدّ إيجاد قيم الاحتمالات المذكورة أعلاه أمرًا صعبًا نوعًا ما، وهو مسألة حساب إحصائية ترتيبية معينة (الأولى، أي القصوى) لمجموعة من القيم. ومع ذلك، يمكن إثبات أن التعبيرات الناتجة هي نفسها في الصيغ السابقة، أي أنهما متكافئتان.