المفاضلة بين التحيز والتباين

في الإحصاء والتعلم الآلي ، يصف مفهوم المفاضلة بين التحيز والتباين العلاقة بين تعقيد النموذج، ودقة تنبؤاته، ومدى قدرته على التنبؤ ببيانات لم تُستخدم سابقًا في تدريب النموذج. عمومًا، كلما زاد عدد المعاملات القابلة للتعديل في النموذج، زادت مرونته، وأصبح أكثر ملاءمة لمجموعة بيانات التدريب. أي أن النموذج يتميز بانخفاض الخطأ أو التحيز . مع ذلك، في النماذج الأكثر مرونة، يزداد تباين ملاءمة النموذج في كل مرة نأخذ فيها مجموعة من العينات لإنشاء مجموعة بيانات تدريب جديدة. ويُقال إن هناك تباينًا أكبر في المعاملات المُقدَّرة للنموذج .

معضلة التحيز والتباين أو مشكلة التحيز والتباين هي الصراع في محاولة تقليل هذين المصدرين للخطأ في وقت واحد مما يمنع خوارزميات التعلم الخاضع للإشراف من التعميم خارج مجموعة التدريب الخاصة بها : ^{[ 1 ]}^{[ 2 ]}

خطأ التحيز هو خطأ ناتج عن افتراضات خاطئة في خوارزمية التعلم . يمكن أن يؤدي التحيز العالي إلى إغفال الخوارزمية للعلاقات المهمة بين الميزات والمخرجات المستهدفة ( نقص التوافق ).
يمثل التباين خطأً ناتجًا عن الحساسية للتقلبات الطفيفة في مجموعة التدريب. وقد ينتج التباين العالي عن خوارزمية تُحاكي الضوضاء العشوائية في بيانات التدريب ( التدريب الزائد ).

يُعد تحليل التحيز والتباين طريقة لتحليل خطأ التعميم المتوقع لخوارزمية التعلم فيما يتعلق بمشكلة معينة كمجموع ثلاثة مصطلحات، وهي التحيز والتباين وكمية تسمى الخطأ غير القابل للاختزال ، والناتجة عن الضوضاء في المشكلة نفسها.

الوظيفة والبيانات المشوشة

الانتشار = 5

الانتشار = 1

الانتشار = 0.1

يتم تقريب دالة (باللون الأحمر) باستخدام دوال الأساس الشعاعي (باللون الأزرق). تظهر عدة تجارب في كل رسم بياني. في كل تجربة، تُقدم بضع نقاط بيانات مشوشة كمجموعة تدريب (أعلى). عند وجود تشتت واسع (الصورة 2)، يكون الانحياز مرتفعًا: لا تستطيع دوال الأساس الشعاعي تقريب الدالة بشكل كامل (خاصةً الانخفاض المركزي)، لكن التباين بين التجارب المختلفة يكون منخفضًا. مع انخفاض التشتت (الصورتان 3 و4)، ينخفض الانحياز: تقترب المنحنيات الزرقاء من المنحنيات الحمراء بشكل أدق. ومع ذلك، اعتمادًا على التشويش في التجارب المختلفة، يزداد التباين بين التجارب. في الصورة السفلية، تختلف القيم التقريبية لـ x=0 اختلافًا كبيرًا اعتمادًا على موقع نقاط البيانات.

تحفيز

تحيز عالٍ، تباين منخفض
تحيز عالٍ، تباين عالٍ
انحياز منخفض، تباين منخفض
تحيز منخفض، تباين عالٍ

يُعدّ التوازن بين التحيز والتباين مشكلةً أساسيةً في التعلّم الخاضع للإشراف. من الناحية المثالية، يُراد اختيار نموذج يُجسّد بدقةٍ أنماط البيانات التدريبية، ويُعمّم في الوقت نفسه بشكلٍ جيدٍ على البيانات غير المرئية. لسوء الحظ، من المستحيل عادةً تحقيق كلا الأمرين معًا. قد تتمكن أساليب التعلّم ذات التباين العالي من تمثيل مجموعة التدريب بشكلٍ جيد، لكنها مُعرّضة لخطر التخصيص الزائد للبيانات التدريبية المشوّشة أو غير المُمثّلة. في المقابل، تُنتج الخوارزميات ذات التحيز العالي عادةً نماذج أبسط قد تفشل في تجسيد أنماطٍ مهمةٍ (أي التخصيص الناقص) في البيانات.

من المغالطات الشائعة ^{[ 3 ]}^{[ 4 ]} افتراض أن النماذج المعقدة يجب أن تتميز بتباين عالٍ. صحيح أن النماذج ذات التباين العالي تُعتبر "معقدة" بمعنى ما، لكن العكس ليس بالضرورة صحيحًا ^{[ 5 ]} . إضافةً إلى ذلك، يجب توخي الحذر في تعريف التعقيد. على وجه الخصوص، يُعد عدد المعاملات المستخدمة لوصف النموذج مقياسًا غير دقيق للتعقيد. $f_{a,b}(x)=a\sin(bx)$ يحتوي على معيارين فقط ( $a,b$ (لكنها تستطيع استيفاء أي عدد من النقاط عن طريق التذبذب بتردد عالٍ بما فيه الكفاية، مما ينتج عنه انحياز عالٍ وتباين عالٍ. ^{[ 6 ]}

يمكن تشبيه العلاقة بين الدقة والضبط بالعلاقة بين الدقة والضبط . فالدقة هي إحدى طرق قياس التحيز، ويمكن تحسينها بشكل بديهي باختيار المعلومات المحلية فقط . وبالتالي، ستظهر العينة دقيقة (أي ذات تحيز منخفض) في ظل شروط الاختيار المذكورة، ولكن قد ينتج عن ذلك نقص في التوافق. بعبارة أخرى، قد لا تتطابق بيانات الاختبار مع بيانات التدريب بنفس القدر، مما يشير إلى عدم الضبط وبالتالي تضخم التباين. ومن الأمثلة البيانية على ذلك خط مستقيم يمثل البيانات التي تُظهر سلوكًا تربيعيًا بشكل عام. أما الضبط فهو وصف للتباين، ولا يمكن تحسينه عمومًا إلا باختيار المعلومات من نطاق أوسع نسبيًا. ويُعد خيار اختيار العديد من نقاط البيانات على نطاق عينة واسع هو الشرط الأمثل لأي تحليل. ومع ذلك، ستلعب القيود الجوهرية (سواء كانت فيزيائية أو نظرية أو حسابية، إلخ) دورًا محددًا دائمًا. في الحالة الحدية، حيث يتم اختيار عدد محدود فقط من نقاط البيانات من مساحة عينة واسعة، قد تتحسن الدقة ويقل التباين إجمالاً، ولكن قد ينتج عن ذلك اعتماد مفرط على بيانات التدريب (التدريب الزائد). هذا يعني أن بيانات الاختبار لن تتطابق تمامًا مع بيانات التدريب، ولكن في هذه الحالة يكون السبب هو عدم الدقة أو التحيز العالي. بالعودة إلى المثال السابق، سيظهر التمثيل البياني كدالة متعددة الحدود من الدرجة العليا مُلائمة لنفس البيانات، تُظهر سلوكًا تربيعيًا. تجدر الإشارة إلى أن الخطأ في كل حالة يُقاس بنفس الطريقة، ولكن السبب المنسوب للخطأ يختلف باختلاف التوازن بين التحيز والتباين. وللحد من استخدام المعلومات من الملاحظات المجاورة، يمكن تنعيم النموذج من خلال التنظيم الصريح ، مثل الانكماش .

تحليل التحيز والتباين لمتوسط مربع الخطأ

{\displaystyle y} — تحليل التحيز والتباين في حالة متوسط مربع الخسارة. النقاط الخضراء هي عينات من تصنيف الاختبار $y$ ميزة اختبار ثابتة $x$ تباينها حول المتوسط $\mathbb {E} _{y\sim p(\cdot |x)}[y]$ هو الخطأ غير القابل للاختزال $\sigma ^{2}$ النقاط الحمراء هي تنبؤات تصنيف الاختبار $f(x|D)$ كمجموعة تدريبية $D$ يتم أخذ العينات عشوائياً. تباينها حول المتوسط $\mathbb {E} _{D}[f(x|D)]$ التباين $\operatorname {Var} _{D}{\big [}f(x|D){\big ]}$ الفرق بين الخط الأحمر المتقطع والخط الأخضر المتقطع هو الانحياز $\operatorname {Bias} _{D}{\big [}f(x|D){\big ]}$ . يصبح تحليل التحيز والتباين واضحًا بصريًا: متوسط مربع الخطأ بين النقاط الحمراء والنقاط الخضراء هو مجموع المكونات الثلاثة.

لنفترض أن لدينا مجموعة تدريب تتكون من مجموعة من النقاط $x_{1},\dots ,x_{n}$ والملصقات ذات القيم الحقيقية $y_{i}$ النقاط المرتبطة $x_{i}$ نفترض أن البيانات يتم توليدها بواسطة دالة $f(x)$ مثل $y=f(x)+\varepsilon$ حيث الضوضاء، $\varepsilon$ ، له متوسط صفر وتباين يساوي واحدًا $\sigma ^{2}$ . إنه، $y_{i}=f(x_{i})+\varepsilon _{i}$ ، أين $\varepsilon _{i}$ هي عينة ضوضاء.

نريد إيجاد دالة ${\hat {f}}\!(x;D)$ ، وهو ما يقارب الدالة الحقيقية $f(x)$ بأفضل شكل ممكن، عن طريق خوارزمية تعلم تعتمد على مجموعة بيانات تدريبية (عينة). $D=\{(x_{1},y_{1})\dots ,(x_{n},y_{n})\}$ نجعل "بأفضل شكل ممكن" دقيقًا عن طريق قياس متوسط مربع الخطأ بين $y$ و ${\hat {f}}\!(x;D)$ نريد $(y-{\hat {f}}\!(x;D))^{2}$ أن تكون في حدها الأدنى، سواء لـ $x_{1},\dots ,x_{n}$ وبالنسبة للنقاط الواقعة خارج نطاق عيّنتنا . بالطبع، لا يمكننا أن نأمل في القيام بذلك على أكمل وجه، لأن $y_{i}$ يحتوي على ضوضاء $\varepsilon$ وهذا يعني أنه يجب أن نكون مستعدين لقبول خطأ لا يمكن اختزاله في أي دالة نتوصل إليها.

العثور على ${\hat {f}}$ يمكن تعميم النتائج لتشمل نقاطًا خارج مجموعة التدريب باستخدام أي من الخوارزميات العديدة المستخدمة في التعلم الخاضع للإشراف. واتضح أن أي دالة ${\hat {f}}$ عند اختيارنا، يمكننا تحليل الخطأ المتوقع على عينة غير مرئية $x$ (أي مشروط بـ $x$ ) كما يلي: ^{[ 7 ]}^{: 34}^{[ 8 ]}^{: 223}

$\mathbb {E} _{D,\varepsilon }{\Big [}{\big (}y-{\hat {f}}\!(x;D){\big )}^{2}{\Big ]}={\Big (}\operatorname {Bias} _{D}{\big [}{\hat {f}}\!(x;D){\big ]}{\Big )}^{2}+\operatorname {Var} _{D}{\big [}{\hat {f}}\!(x;D){\big ]}+\sigma ^{2}$

أين ${\begin{aligned}\operatorname {Bias} _{D}{\big [}{\hat {f}}\!(x;D){\big ]}&\triangleq \mathbb {E} _{D}{\big [}{\hat {f}}\!(x;D)-f(x){\big ]}\\&=\mathbb {E} _{D}{\big [}{\hat {f}}\!(x;D){\big ]}\,-\,f(x)\\&=\mathbb {E} _{D}{\big [}{\hat {f}}\!(x;D){\big ]}\,-\,\mathbb {E} _{y|x}{\big [}y(x){\big ]}\end{aligned}}$

و

$\operatorname {Var} _{D}{\big [}{\hat {f}}\!(x;D){\big ]}\triangleq \mathbb {E} _{D}\left[\left(\mathbb {E} _{D}[{\hat {f}}\!(x;D)]-{\hat {f}}\!(x;D)\right)^{2}\right]$

و

$\sigma ^{2}=\operatorname {E} _{y}{\Big [}{\big (}y-\underbrace {f(x)} _{E_{y|x}[y]}{\big )}^{2}{\Big ]}$

يتراوح التوقع باختلاف خيارات مجموعة التدريب $D=\{(x_{1},y_{1})\dots ,(x_{n},y_{n})\}$ ، جميعها مأخوذة من نفس التوزيع المشترك $P(x,y)$ ويمكن القيام بذلك، على سبيل المثال، من خلال عملية التمهيد . وتمثل المصطلحات الثلاثة ما يلي:

مربع انحياز طريقة التعلم، والذي يمكن اعتباره الخطأ الناتج عن الافتراضات التبسيطية المضمنة في الطريقة. على سبيل المثال، عند تقريب دالة غير خطية $f(x)$ باستخدام أسلوب التعلم للنماذج الخطية ، ستكون هناك أخطاء في التقديرات ${\hat {f}}\!(x)$ بسبب هذا الافتراض؛
تباين أسلوب التعلم، أو بشكل بديهي، مدى تأثير أسلوب التعلم ${\hat {f}}\!(x)$ سيتحرك حول متوسطه؛
الخطأ الذي لا يمكن اختزاله $\sigma ^{2}$ .

بما أن جميع الحدود الثلاثة غير سالبة، فإن الخطأ غير القابل للاختزال يشكل حدًا أدنى للخطأ المتوقع على العينات غير المرئية. ^{[ 7 ]}^{: 34}

كلما كان النموذج أكثر تعقيدًا ${\hat {f}}\!(x)$ بمعنى آخر، كلما زاد عدد نقاط البيانات التي سيجمعها النموذج، قلّ التحيز. مع ذلك، فإن زيادة التعقيد ستجعل النموذج "يتحرك" أكثر لجمع نقاط البيانات، وبالتالي سيزداد تباينه.

الاشتقاق

يتم اشتقاق تحليل التحيز والتباين للخطأ التربيعي على النحو التالي. ^{[ 9 ]}^{[ 10 ]} وللتسهيل، نحذف $D$ الرمز السفلي في الأسطر التالية، بحيث ${\hat {f}}\!(x;D)={\hat {f}}\!(x)$ .

لنكتب متوسط مربع الخطأ لنموذجنا:

${\begin{aligned}{\text{MSE}}(x)&\triangleq \mathbb {E} {\Big [}{\big (}y-{\hat {f}}\!(x){\big )}^{2}{\Big ]}\\&=\mathbb {E} {\Big [}{\big (}f(x)+\varepsilon -{\hat {f}}\!(x){\big )}^{2}{\Big ]}&&{\text{since }}y\triangleq f(x)+\varepsilon \\&=\mathbb {E} {\Big [}{\big (}f(x)-{\hat {f}}\!(x){\big )}^{2}{\Big ]}\,+\,2\ \mathbb {E} {\Big [}{\big (}f(x)-{\hat {f}}\!(x){\big )}\varepsilon {\Big ]}\,+\,\mathbb {E} [\varepsilon ^{2}]\end{aligned}}$

يمكننا إثبات أن الحد الثاني من هذه المعادلة يساوي صفرًا:

${\begin{aligned}\mathbb {E} {\Big [}{\big (}f(x)-{\hat {f}}\!(x){\big )}\varepsilon {\Big ]}&=\mathbb {E} {\big [}f(x)-{\hat {f}}\!(x){\big ]}\ \mathbb {E} {\big [}\varepsilon {\big ]}&&{\text{since }}\varepsilon {\text{ is independent from }}x\\&=0&&{\text{since }}\mathbb {E} {\big [}\varepsilon {\big ]}=0\end{aligned}}$

علاوة على ذلك، فإن الحد الثالث من هذه المعادلة ليس سوى $\sigma ^{2}$ ، تباين $\varepsilon$ .

لنقم الآن بتوسيع المصطلح المتبقي:

${\begin{aligned}&\operatorname {\mathbb {E} } \left[\left(f(x)-{\hat {f}}\!(x)\right)^{2}\right]\\[1ex]&=\operatorname {\mathbb {E} } \left[\left(f(x)-\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]+\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]-{\hat {f}}\!(x)\right)^{2}\right]\\[1ex]&={\color {Blue}\operatorname {\mathbb {E} } \left[\left(f(x)-\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]\right)^{2}\right]}\,+\,\operatorname {\mathbb {E} } \left[\left(\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]-{\hat {f}}\!(x)\right)^{2}\right]\\&\quad \,+\,2\ {\color {PineGreen}\operatorname {\mathbb {E} } \left[\left(f(x)-\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]\right)\left(\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]-{\hat {f}}\!(x)\right)\right]}\end{aligned}}$

نوضح أن:

${\begin{aligned}{\color {Blue}\mathbb {E} {\Big [}{\big (}f(x)-\mathbb {E} {\big [}{\hat {f}}(x){\big ]}{\big )}^{2}{\Big ]}}&=\mathbb {E} {\big [}f(x)^{2}{\big ]}\,-\,2\ \mathbb {E} {\Big [}f(x)\ \mathbb {E} {\big [}{\hat {f}}(x){\big ]}{\Big ]}\,+\,\mathbb {E} {\Big [}\mathbb {E} {\big [}{\hat {f}}(x){\big ]}^{2}{\Big ]}\\&=f(x)^{2}\,-\,2\ f(x)\ \mathbb {E} {\big [}{\hat {f}}(x){\big ]}\,+\,\mathbb {E} {\big [}{\hat {f}}(x){\big ]}^{2}\\&={\Big (}f(x)-\mathbb {E} {\big [}{\hat {f}}(x){\big ]}{\Big )}^{2}\end{aligned}}$

وتأتي هذه السلسلة الأخيرة من المساواة من حقيقة أن $f(x)$ ليست متغيرًا عشوائيًا، بل هي دالة ثابتة وحتمية لـ $x$ . لذلك، $\operatorname {\mathbb {E} } \left[f(x)\right]=f(x)$ . بصورة مماثلة $\operatorname {\mathbb {E} } \left[f(x)^{2}\right]=f(x)^{2}$ ، و $\operatorname {\mathbb {E} } \left[f(x)\,\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]\right]=f(x)\,\operatorname {\mathbb {E} } \left[\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]\right]=f(x)\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]$ باستخدام نفس المنطق، يمكننا توسيع الحد الثاني وإثبات أنه معدوم:

${\begin{aligned}&{\color {PineGreen}\operatorname {\mathbb {E} } \left[\left(f(x)-\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]\right)\left(\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]-{\hat {f}}\!(x)\right)\right]}\\&=\operatorname {\mathbb {E} } \left[f(x)\,\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]\,-\,f(x){\hat {f}}\!(x)\,-\,\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]^{2}+\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]\,{\hat {f}}\!(x)\right]\\&=f(x)\,\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]\,-\,f(x)\,\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]\,-\,\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]^{2}\,+\,\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]^{2}\\&=0\end{aligned}}$

في النهاية، نعيد إدخال مشتقاتنا في المعادلة الأصلية، ونحدد كل حد:

${\begin{aligned}{\text{MSE}}(x)&=\left(f(x)-\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]\right)^{2}+\operatorname {\mathbb {E} } \left[\left(\operatorname {\mathbb {E} } [{\hat {f}}\!(x)]-{\hat {f}}\!(x)\right)^{2}\right]+\sigma ^{2}\\&=\operatorname {Bias} \left[{\hat {f}}\!(x)\right]^{2}+\,\operatorname {Var} \left[{\hat {f}}\!(x)\right]\,+\,\sigma ^{2}\end{aligned}}$

وأخيرًا، يتم الحصول على دالة خسارة متوسط مربع الخطأ (أو دالة الاحتمالية اللوغاريتمية السالبة) عن طريق أخذ القيمة المتوقعة على $x\sim P$ : ${\text{MSE}}=\operatorname {\mathbb {E} } _{x}\left[{\text{MSE}}(x)\right]=\operatorname {\mathbb {E} } _{x}\left\{\operatorname {Bias} _{D}\!\left[{\hat {f}}\!(x;D)\right]^{2}+\operatorname {Var} _{D}\left[{\hat {f}}\!(x;D)\right]\right\}+\sigma ^{2}.$

الأساليب

يمكن لتقنيات تقليل الأبعاد واختيار الميزات أن تقلل التباين عن طريق تبسيط النماذج. وبالمثل، فإن زيادة حجم مجموعة التدريب تؤدي عادةً إلى تقليل التباين. كما أن إضافة الميزات (المتنبئات) تقلل التحيز، ولكن على حساب زيادة التباين. تحتوي خوارزميات التعلم عادةً على بعض المعلمات القابلة للضبط التي تتحكم في التحيز والتباين؛ على سبيل المثال،

يمكن تنظيم النماذج الخطية والخطية المعممة لتقليل تباينها على حساب زيادة تحيزها. ^[¹¹^]
في الشبكات العصبية الاصطناعية ، يزداد التباين ويقل الانحياز مع ازدياد عدد الوحدات المخفية، ^{[ 12 ]} على الرغم من أن هذا الافتراض الكلاسيكي كان موضع نقاش مؤخرًا. ^{[ 4 ]} وكما هو الحال في النماذج الخطية المعممة، يتم تطبيق التنظيم عادةً.
في نماذج الجوار الأقرب k ، تؤدي القيمة العالية لـ $k$ إلى تحيز عالٍ وتباين منخفض (انظر أدناه).
في التعلم القائم على الحالات ، يمكن تحقيق التنظيم عن طريق تغيير مزيج النماذج الأولية والأمثلة. ^{[ 13 ]}
في أشجار القرار ، يحدد عمق الشجرة التباين. وعادةً ما تُقلم أشجار القرار للتحكم في التباين. ^{[ 7 ]}^{: 307}

إحدى طرق حل هذه المفاضلة هي استخدام نماذج الخليط والتعلم الجماعي . ^{[ 14 ]}^{[ 15 ]} على سبيل المثال، يجمع التعزيز العديد من النماذج "الضعيفة" (ذات التحيز العالي) في مجموعة ذات تحيز أقل من النماذج الفردية، بينما يجمع التجميع المتعلمين "الأقوياء" بطريقة تقلل من تباينهم.

يمكن استخدام أساليب التحقق من صحة النموذج مثل التحقق المتبادل (الإحصاء) لضبط النماذج من أجل تحسين المفاضلة.

أقرب الجيران k

في حالة انحدار أقرب الجيران $k$ ، عندما يتم حساب القيمة المتوقعة على التصنيف المحتمل لمجموعة تدريب ثابتة، توجد صيغة مغلقة تربط تحليل التحيز والتباين بالمعامل $k$ : ^{[ 8 ]}^{: 37، 223}

$\operatorname {\mathbb {E} } \left[\left(y-{\hat {f}}\!(x)\right)^{2}\mid X=x\right]=\left(f(x)-{\frac {1}{k}}\sum _{i=1}^{k}f(N_{i}(x))\right)^{2}+{\frac {\sigma ^{2}}{k}}+\sigma ^{2}$

أين $N_{1}(x),\dots ,N_{k}(x)$ تمثل هذه القيم أقرب $k جارًا لـ$ $x$ في مجموعة التدريب. يمثل الانحياز (الحد الأول) دالة متزايدة رتيبة لـ $k$ ، بينما يتناقص التباين (الحد الثاني) مع زيادة $k$ . في الواقع، في ظل "افتراضات معقولة"، يختفي انحياز مُقدِّر أقرب جار أول (1-NN) تمامًا عندما يقترب حجم مجموعة التدريب من اللانهاية. ^{[ 12 ]}

التطبيقات

في التراجع

يشكل تحليل التحيز والتباين الأساس المفاهيمي لأساليب تنظيم الانحدار ، مثل LASSO وانحدار ريدج . تُدخل أساليب التنظيم تحيزًا في حل الانحدار، مما قد يقلل التباين بشكل كبير مقارنةً بحل المربعات الصغرى العادية (OLS) . على الرغم من أن حل OLS يوفر تقديرات انحدار غير متحيزة، إلا أن الحلول ذات التباين المنخفض الناتجة عن تقنيات التنظيم تُحقق أداءً أفضل في متوسط مربعات الخطأ (MSE).

في التصنيف

صِيغَ تحليل التحيز والتباين في الأصل لانحدار المربعات الصغرى. في حالة التصنيف تحت خسارة 0-1 (معدل التصنيف الخاطئ)، يُمكن إيجاد تحليل مماثل، مع التنبيه إلى أن حد التباين يصبح معتمدًا على التصنيف المستهدف. ^{[ 16 ]}^{[ 17 ]} بدلاً من ذلك، إذا أمكن صياغة مشكلة التصنيف على أنها تصنيف احتمالي ، فيمكن تحليل الإنتروبيا التقاطعية المتوقعة للحصول على حدي التحيز والتباين بنفس الدلالة ولكن بصيغة مختلفة.

لقد قيل إنه مع ازدياد بيانات التدريب، يميل تباين النماذج المُتعلمة إلى الانخفاض، وبالتالي، مع ازدياد كمية بيانات التدريب، يتم تقليل الخطأ إلى أدنى حد بواسطة الطرق التي تتعلم نماذج ذات تحيز أقل، وعلى العكس من ذلك، بالنسبة لكميات بيانات التدريب الأصغر، يصبح تقليل التباين أكثر أهمية. ^{[ 18 ]}

في التعلم المعزز

على الرغم من أن تحليل التحيز والتباين لا ينطبق مباشرةً على التعلم المعزز ، إلا أن مقايضة مماثلة يمكن أن تميز التعميم. عندما يمتلك العامل معلومات محدودة عن بيئته، يمكن تحليل عدم مثالية خوارزمية التعلم المعزز إلى مجموع حدين: حد يتعلق بالتحيز التقاربي وحد ناتج عن فرط التخصيص. يرتبط التحيز التقاربي مباشرةً بخوارزمية التعلم (بصرف النظر عن كمية البيانات)، بينما ينشأ حد فرط التخصيص من محدودية كمية البيانات. ^{[ 19 ]}

في طرق مونت كارلو

في حين أن الانحياز في طرق مونت كارلو التقليدية يكون عادةً معدومًا، فإن الأساليب الحديثة، مثل مونت كارلو لسلاسل ماركوف، لا تكون منحازة إلا تقاربًا، في أفضل الأحوال. ^{[ 20 ]} يمكن استخدام تشخيصات التقارب للتحكم في الانحياز عن طريق إزالة فترة التثبيت ، ولكن نظرًا لمحدودية الموارد الحاسوبية، ينشأ توازن بين الانحياز والتباين، ^{[ 21 ]} مما يؤدي إلى ظهور مجموعة واسعة من الأساليب التي تقبل انحيازًا مضبوطًا، إذا كان ذلك يسمح بتقليل التباين بشكل كبير، وبالتالي تقليل خطأ التقدير الإجمالي. ^{[ 22 ]}^{[ 23 ]}^{[ 24 ]}

في التعلم البشري

على الرغم من كثرة النقاش حول معضلة التحيز والتباين في سياق التعلم الآلي، فقد دُرست أيضًا في سياق الإدراك البشري ، ولا سيما من قِبل جيرد جيجيرينزر وزملاؤه في سياق الاستدلالات المكتسبة. وقد جادلوا (انظر المراجع أدناه) بأن الدماغ البشري يحل هذه المعضلة في حالة مجموعات التدريب المتفرقة وغير الموصوفة جيدًا التي توفرها الخبرة، وذلك من خلال تبني استدلالات ذات تحيز عالٍ وتباين منخفض. ويعكس هذا حقيقة أن نهج التحيز الصفري ضعيف التعميم على المواقف الجديدة، كما أنه يفترض بشكل غير منطقي معرفة دقيقة بالحالة الحقيقية للعالم. وتكون الاستدلالات الناتجة بسيطة نسبيًا، لكنها تُنتج استنتاجات أفضل في نطاق أوسع من المواقف. ^{[ 25 ]}

يجادل جيمان وآخرون ^{[ 12 ]} بأن معضلة التحيز والتباين تعني أن قدرات مثل التعرف على الأشياء العامة لا يمكن تعلمها من الصفر، بل تتطلب درجة معينة من "البرمجة المسبقة" التي تُصقل لاحقًا بالتجربة. ويعود ذلك إلى أن أساليب الاستدلال غير القائمة على النماذج تتطلب مجموعات تدريب ضخمة بشكل غير عملي لتجنب التباين العالي.

انظر أيضاً

مراجع

↑ كوهفي، رون؛ وولبرت، ديفيد هـ. (1996). "تحليل التحيز والتباين لوظائف الخسارة الصفرية-الواحدية". ICML . 96 .
↑ لوكسبورغ، أولريكه ف.؛ شولكوف، ب. (2011). "نظرية التعلم الإحصائي: النماذج والمفاهيم والنتائج". دليل تاريخ المنطق . 10 : القسم 2.4.
↑ نيل، برادي (2019). "حول المفاضلة بين التحيز والتباين: الكتب المدرسية بحاجة إلى تحديث". arXiv : 1912.08286 [ cs.LG ].
1 2 نيل، برادي؛ ميتال، سارثاك؛ باراتين، أريستيد؛ تانتيا، فيناياك؛ سيكلونا، ماثيو؛ لاكوست-جوليان، سيمون؛ ميتلياجكاس، يوانيس (2018). "نظرة حديثة على المفاضلة بين التحيز والتباين في الشبكات العصبية". arXiv : 1810.08591 [ cs.LG ].
↑ نيل، برادي؛ ميتال، سارثاك؛ باراتين، أريستيد؛ تانتيا، فيناياك؛ سيكلونا، ماثيو؛ لاكوست-جوليان، سيمون؛ ميتلياجكاس، يوانيس (2019). نظرة حديثة على المفاضلة بين التحيز والتباين في الشبكات العصبية . المؤتمر الدولي لتمثيلات التعلم (ICLR) 2019.
↑ فابنيك، فلاديمير (2000). طبيعة نظرية التعلم الإحصائي . نيويورك: سبرينغر-فيرلاغ. doi : 10.1007/978-1-4757-3264-1 . ISBN 978-1-4757-3264-1. S2CID 7138354 .
1 2 3 جيمس، غاريث؛ ويتن، دانييلا ؛ هاستي، تريفور ؛ تيبشيراني، روبرت (2013). مقدمة في التعلم الإحصائي . سبرينغر.
1 2 هاستي، تريفور؛ تيبشيراني، روبرت؛ فريدمان، جيروم هـ. (2009). عناصر التعلم الإحصائي . مؤرشف من الأصل بتاريخ 26-01-2015 . تم الاسترجاع بتاريخ 20-08-2014 .
^ فيجاياكومار، سيثو (2007). “مفاضلة التحيز والتباين” (PDF) . جامعة ادنبره . تم الاسترجاع 19 أغسطس 2014 .
↑ شاخناروفيتش، جريج (2011). "ملاحظات حول اشتقاق تحليل التحيز والتباين في الانحدار الخطي" (ملف PDF) . مؤرشف من الأصل (ملف PDF) بتاريخ 21 أغسطس 2014. تم الاطلاع عليه بتاريخ 20 أغسطس 2014 .
↑ بيلسلي، ديفيد (1991). تشخيصات التكييف : الارتباط الخطي والبيانات الضعيفة في الانحدار . نيويورك (نيويورك): وايلي. ISBN 978-0471528890.
1 2 3 جيمان، ستيوارت ؛ بينينستوك، إيلي؛ دورسات، رينيه (1992). "الشبكات العصبية ومعضلة التحيز/التباين" (ملف PDF) . الحوسبة العصبية . 4 : 1-58 . doi : 10.1162/neco.1992.4.1.1 . S2CID 14215320 .
↑ غالياردي، فرانشيسكو (مايو 2011). "المصنفات القائمة على الحالات المطبقة على قواعد البيانات الطبية: التشخيص واستخلاص المعرفة" . الذكاء الاصطناعي في الطب . 52 (3): 123-139 . doi : 10.1016/j.artmed.2011.04.002 . PMID 21621400 .
↑ تينغ، جو-آن؛ فيجاي كومار، سيثو؛ شال، ستيفان (2011). "الانحدار الموزون محليًا للتحكم". في ساموت، كلود؛ ويب، جيفري آي. (محرران). موسوعة تعلم الآلة (ملف PDF) . سبرينغر. ص 615. Bibcode : 2010eoml.book.....S .
↑ فورتمان-رو، سكوت (2012). "فهم المفاضلة بين التحيز والتباين" .
↑ دومينغوس، بيدرو (2000). تحليل موحد للتحيز والتباين (PDF) . ICML.
↑ فالنتيني، جورجيو؛ ديتريش، توماس ج. (2004). "تحليل التحيز والتباين لآلات المتجهات الداعمة لتطوير أساليب التجميع القائمة على آلات المتجهات الداعمة" (ملف PDF) . مجلة أبحاث تعلم الآلة . 5 : 725-775 .
↑ براين، داميان؛ ويب، جيفري (2002). الحاجة إلى خوارزميات ذات تحيز منخفض في تعلم التصنيف من مجموعات البيانات الكبيرة (ملف PDF) . وقائع المؤتمر الأوروبي السادس حول مبادئ استخراج البيانات واكتشاف المعرفة (PKDD 2002).
↑ فرانسوا-لافيه، فنسنت؛ رابوسو، غيوم؛ بينو، جويل؛ إرنست، داميان؛ فونتينو، رافائيل (2019). "حول التجاوز في التدريب والتحيز التقاربي في التعلم المعزز الدفعي مع إمكانية الملاحظة الجزئية" . مجلة أبحاث الذكاء الاصطناعي . 65 : 1-30 . arXiv : 1709.07796 . doi : 10.1613/jair.1.11478 .
↑ زلوخين، م.؛ بارام، ي. (2001). "معضلة التحيز والتباين في طريقة مونت كارلو" . في: دورفنر، ج.؛ بيشوف، هـ.؛ هورنيك، ك. (محررون). الشبكات العصبية الاصطناعية - مؤتمر ICANN 2001. سلسلة محاضرات في علوم الحاسوب. المجلد 2130. سبرينغر. الصفحات 257-264 . doi : 10.1007/3-540-44668-0_20 . تاريخ الاسترجاع: 17 نوفمبر 2024 .
↑ ساوث، ليا ف.؛ ريابيز، مارينا؛ تيمور، أونور؛ أوتس، كريس ج. (1 مارس 2022). "المعالجة اللاحقة لسلسلة ماركوف مونت كارلو" . المراجعة السنوية للإحصاء وتطبيقاته . 9 (1): 529-555 . arXiv : 2103.16048 . Bibcode : 2022AnRSA...9..529S . doi : 10.1146/annurev-statistics-040220-091727 . PMC 7616193. PMID 39006247. تاريخ الاسترجاع: 17 نوفمبر 2024 .
↑ نيميث، سي.؛ فيرنهيد، ب. (2021). "طريقة مونت كارلو لسلسلة ماركوف ذات التدرج العشوائي" . مجلة الجمعية الإحصائية الأمريكية . 116 (533): 433-450 . arXiv : 1907.06986 . doi : 10.1080/01621459.2020.1847120 . تاريخ الاسترجاع: 17 نوفمبر 2024 .
↑ فازكيز، م. أ.؛ ميغيز، ج. (2017). "أخذ العينات المهمة باستخدام الأوزان المحولة" . رسائل الإلكترونيات . 53 (12): 783-785 . arXiv : 1702.01987 . Bibcode : 2017ElL....53..783V . doi : 10.1049/el.2016.3462 . تاريخ الاسترجاع: 17 نوفمبر 2024 .
↑ كوربا، أ.؛ بورتييه، ف. (2022). "أخذ العينات التكيفي ذو الأهمية يلتقي بالانحدار المرآوي: مفاضلة بين التحيز والتباين" . وقائع المؤتمر الدولي الخامس والعشرين حول الذكاء الاصطناعي والإحصاء . وقائع بحوث التعلم الآلي. المجلد 151. الصفحات 11503-11527 . تاريخ الاسترجاع: 17 نوفمبر 2024 .
↑ جيغيرينزر، جيرد ؛ برايتون، هنري (2009). "الإنسان الاستدلالي: لماذا تُنتج العقول المتحيزة استنتاجات أفضل". مواضيع في العلوم المعرفية . 1 (1): 107-143 . doi : 10.1111/j.1756-8765.2008.01006.x . hdl : 11858/00-001M-0000-0024-F678-0 . PMID 25164802 .

روابط خارجية

MLU-Explain: The Bias Variance Tradeoff — عرض مرئي تفاعلي لموازنة التحيز والتباين في انحدار LOESS و K-Nearest Neighbors.

[:0-1] كوهفي، رون؛ وولبرت، ديفيد هـ. (1996). "تحليل التحيز والتباين لوظائف الخسارة الصفرية-الواحدية". ICML . 96 .

[:1-2] لوكسبورغ، أولريكه ف.؛ شولكوف، ب. (2011). "نظرية التعلم الإحصائي: النماذج والمفاهيم والنتائج". دليل تاريخ المنطق . 10 : القسم 2.4.

[nealThesis2019-3] نيل، برادي (2019). "حول المفاضلة بين التحيز والتباين: الكتب المدرسية بحاجة إلى تحديث". arXiv : 1912.08286 [ cs.LG ].

[neal2018-4] 1 2 نيل، برادي؛ ميتال، سارثاك؛ باراتين، أريستيد؛ تانتيا، فيناياك؛ سيكلونا، ماثيو؛ لاكوست-جوليان، سيمون؛ ميتلياجكاس، يوانيس (2018). "نظرة حديثة على المفاضلة بين التحيز والتباين في الشبكات العصبية". arXiv : 1810.08591 [ cs.LG ].

[5] نيل، برادي؛ ميتال، سارثاك؛ باراتين، أريستيد؛ تانتيا، فيناياك؛ سيكلونا، ماثيو؛ لاكوست-جوليان، سيمون؛ ميتلياجكاس، يوانيس (2019). نظرة حديثة على المفاضلة بين التحيز والتباين في الشبكات العصبية . المؤتمر الدولي لتمثيلات التعلم (ICLR) 2019.

[6] فابنيك، فلاديمير (2000). طبيعة نظرية التعلم الإحصائي . نيويورك: سبرينغر-فيرلاغ. doi : 10.1007/978-1-4757-3264-1 . ISBN 978-1-4757-3264-1. S2CID 7138354 .

[islr-7] 1 2 3 جيمس، غاريث؛ ويتن، دانييلا ؛ هاستي، تريفور ؛ تيبشيراني، روبرت (2013). مقدمة في التعلم الإحصائي . سبرينغر.

[ESL-8] 1 2 هاستي، تريفور؛ تيبشيراني، روبرت؛ فريدمان، جيروم هـ. (2009). عناصر التعلم الإحصائي . مؤرشف من الأصل بتاريخ 26-01-2015 . تم الاسترجاع بتاريخ 20-08-2014 .

[9] فيجاياكومار، سيثو (2007). “مفاضلة التحيز والتباين” (PDF) . جامعة ادنبره . تم الاسترجاع 19 أغسطس 2014 .

[10] شاخناروفيتش، جريج (2011). "ملاحظات حول اشتقاق تحليل التحيز والتباين في الانحدار الخطي" (ملف PDF) . مؤرشف من الأصل (ملف PDF) بتاريخ 21 أغسطس 2014. تم الاطلاع عليه بتاريخ 20 أغسطس 2014 .

[11] بيلسلي، ديفيد (1991). تشخيصات التكييف : الارتباط الخطي والبيانات الضعيفة في الانحدار . نيويورك (نيويورك): وايلي. ISBN 978-0471528890.

[geman-12] 1 2 3 جيمان، ستيوارت ؛ بينينستوك، إيلي؛ دورسات، رينيه (1992). "الشبكات العصبية ومعضلة التحيز/التباين" (ملف PDF) . الحوسبة العصبية . 4 : 1-58 . doi : 10.1162/neco.1992.4.1.1 . S2CID 14215320 .

[13] غالياردي، فرانشيسكو (مايو 2011). "المصنفات القائمة على الحالات المطبقة على قواعد البيانات الطبية: التشخيص واستخلاص المعرفة" . الذكاء الاصطناعي في الطب . 52 (3): 123-139 . doi : 10.1016/j.artmed.2011.04.002 . PMID 21621400 .

[14] تينغ، جو-آن؛ فيجاي كومار، سيثو؛ شال، ستيفان (2011). "الانحدار الموزون محليًا للتحكم". في ساموت، كلود؛ ويب، جيفري آي. (محرران). موسوعة تعلم الآلة (ملف PDF) . سبرينغر. ص 615. Bibcode : 2010eoml.book.....S .

[15] فورتمان-رو، سكوت (2012). "فهم المفاضلة بين التحيز والتباين" .

[16] دومينغوس، بيدرو (2000). تحليل موحد للتحيز والتباين (PDF) . ICML.

[17] فالنتيني، جورجيو؛ ديتريش، توماس ج. (2004). "تحليل التحيز والتباين لآلات المتجهات الداعمة لتطوير أساليب التجميع القائمة على آلات المتجهات الداعمة" (ملف PDF) . مجلة أبحاث تعلم الآلة . 5 : 725-775 .

[18] براين، داميان؛ ويب، جيفري (2002). الحاجة إلى خوارزميات ذات تحيز منخفض في تعلم التصنيف من مجموعات البيانات الكبيرة (ملف PDF) . وقائع المؤتمر الأوروبي السادس حول مبادئ استخراج البيانات واكتشاف المعرفة (PKDD 2002).

[19] فرانسوا-لافيه، فنسنت؛ رابوسو، غيوم؛ بينو، جويل؛ إرنست، داميان؛ فونتينو، رافائيل (2019). "حول التجاوز في التدريب والتحيز التقاربي في التعلم المعزز الدفعي مع إمكانية الملاحظة الجزئية" . مجلة أبحاث الذكاء الاصطناعي . 65 : 1-30 . arXiv : 1709.07796 . doi : 10.1613/jair.1.11478 .

[20] زلوخين، م.؛ بارام، ي. (2001). "معضلة التحيز والتباين في طريقة مونت كارلو" . في: دورفنر، ج.؛ بيشوف، هـ.؛ هورنيك، ك. (محررون). الشبكات العصبية الاصطناعية - مؤتمر ICANN 2001. سلسلة محاضرات في علوم الحاسوب. المجلد 2130. سبرينغر. الصفحات 257-264 . doi : 10.1007/3-540-44668-0_20 . تاريخ الاسترجاع: 17 نوفمبر 2024 .

[21] ساوث، ليا ف.؛ ريابيز، مارينا؛ تيمور، أونور؛ أوتس، كريس ج. (1 مارس 2022). "المعالجة اللاحقة لسلسلة ماركوف مونت كارلو" . المراجعة السنوية للإحصاء وتطبيقاته . 9 (1): 529-555 . arXiv : 2103.16048 . Bibcode : 2022AnRSA...9..529S . doi : 10.1146/annurev-statistics-040220-091727 . PMC 7616193. PMID 39006247. تاريخ الاسترجاع: 17 نوفمبر 2024 .

[22] نيميث، سي.؛ فيرنهيد، ب. (2021). "طريقة مونت كارلو لسلسلة ماركوف ذات التدرج العشوائي" . مجلة الجمعية الإحصائية الأمريكية . 116 (533): 433-450 . arXiv : 1907.06986 . doi : 10.1080/01621459.2020.1847120 . تاريخ الاسترجاع: 17 نوفمبر 2024 .

[23] فازكيز، م. أ.؛ ميغيز، ج. (2017). "أخذ العينات المهمة باستخدام الأوزان المحولة" . رسائل الإلكترونيات . 53 (12): 783-785 . arXiv : 1702.01987 . Bibcode : 2017ElL....53..783V . doi : 10.1049/el.2016.3462 . تاريخ الاسترجاع: 17 نوفمبر 2024 .

[24] كوربا، أ.؛ بورتييه، ف. (2022). "أخذ العينات التكيفي ذو الأهمية يلتقي بالانحدار المرآوي: مفاضلة بين التحيز والتباين" . وقائع المؤتمر الدولي الخامس والعشرين حول الذكاء الاصطناعي والإحصاء . وقائع بحوث التعلم الآلي. المجلد 151. الصفحات 11503-11527 . تاريخ الاسترجاع: 17 نوفمبر 2024 .

[ReferenceA-25] جيغيرينزر، جيرد ؛ برايتون، هنري (2009). "الإنسان الاستدلالي: لماذا تُنتج العقول المتحيزة استنتاجات أفضل". مواضيع في العلوم المعرفية . 1 (1): 107-143 . doi : 10.1111/j.1756-8765.2008.01006.x . hdl : 11858/00-001M-0000-0024-F678-0 . PMID 25164802 .

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

اللغة	العربية (RTL)
روابط موسوعية	30 رابطاً
المصدر الأصلي	ويكيبيديا ↗