الإفراط في التخصيص

الموسوعة الحرة
الشكل 1. يُمثل الخط الأخضر نموذجًا مُفرط التخصيص، بينما يُمثل الخط الأسود نموذجًا مُنتظمًا. على الرغم من أن الخط الأخضر يُطابق بيانات التدريب بشكل أفضل، إلا أنه يعتمد عليها بشكل كبير، ومن المُرجح أن يكون لديه معدل خطأ أعلى على البيانات الجديدة غير المرئية، كما هو موضح بالنقاط المُحاطة بخطوط سوداء، مُقارنةً بالخط الأسود.
الشكل 2. تمّت مطابقة بيانات مشوّشة (خطية تقريبًا) بدالة خطية ودالة متعددة الحدود . على الرغم من أن الدالة متعددة الحدود تُطابق البيانات تمامًا، إلا أنه من المتوقع أن تكون الدالة الخطية أكثر قدرة على التعميم: فإذا استُخدمت الدالتان لاستقراء البيانات المُطابقة، فمن المفترض أن تُقدّم الدالة الخطية تنبؤات أفضل.
الشكل 3. يمثل الخط الأزرق المتقطع نموذجًا غير ملائم. لا يمكن لخط مستقيم أن يطابق القطع المكافئ. هذا النموذج بسيط للغاية.

في النمذجة الرياضية ، يُعرف التجاوز في التوفيق بأنه إنتاج تحليل يتطابق بشكل وثيق أو دقيق للغاية مع مجموعة بيانات معينة، وقد يفشل بالتالي في التوافق مع بيانات إضافية أو التنبؤ بالملاحظات المستقبلية بشكل موثوق. [ 1 ] النموذج المتجاوز في التوفيق هو نموذج رياضي يحتوي على معلمات أكثر مما يمكن تبريره بالبيانات. [ 2 ] في الحالة الخاصة للنموذج الذي يتكون من دالة متعددة الحدود، تمثل هذه المعلمات درجة متعددة الحدود . جوهر التجاوز في التوفيق هو استخلاص بعض التباين المتبقي (أي الضوضاء ) دون وعي كما لو كان هذا التباين يمثل بنية النموذج الأساسية. [ 3 ] : 45

يحدث نقص التوافق عندما يعجز النموذج الرياضي عن استيعاب البنية الأساسية للبيانات بشكل كافٍ. النموذج غير المتوافق هو نموذج يفتقر إلى بعض المعاملات أو الحدود التي تظهر في نموذج مُحدد بشكل صحيح. [ 2 ] يحدث نقص التوافق، على سبيل المثال، عند تطبيق نموذج خطي على بيانات غير خطية. يميل هذا النوع من النماذج إلى امتلاك أداء تنبؤي ضعيف.

يُحتمل حدوث فرط التخصيص عندما يختلف معيار اختيار النموذج عن معيار تقييم مدى ملاءمته. فعلى سبيل المثال، قد يُختار نموذجٌ ما بناءً على تعظيم أدائه على مجموعة بيانات تدريبية معينة ، بينما قد تُحدد ملاءمته بقدرته على الأداء الجيد على بيانات غير مرئية؛ ويحدث فرط التخصيص عندما يبدأ النموذج في "حفظ" بيانات التدريب بدلاً من "تعلم" التعميم انطلاقاً من اتجاه معين.

كمثال متطرف، إذا كان عدد المعاملات مساوياً لعدد المشاهدات أو أكبر منه، فإن النموذج يستطيع التنبؤ بدقة تامة ببيانات التدريب بمجرد حفظ البيانات كاملةً. (للاطلاع على مثال توضيحي، انظر الشكل  2). عادةً ما يفشل هذا النموذج فشلاً ذريعاً في التنبؤ.

يرتبط فرط التخصيص بكلٍ من تعقيد النموذج المُختار ومدى كفاءة تحسينه أثناء التدريب. من المرجح أن تُعاني فئة الدوال الكبيرة جدًا، بالمعنى المناسب، مقارنةً بحجم مجموعة البيانات، من فرط التخصيص. [ 4 ] حتى عندما لا يحتوي النموذج المُدرَّب على عدد كبير من المعاملات، فمن المتوقع أن يظهر أداء العلاقة المُدرَّبة أقل جودةً على مجموعة بيانات جديدة مقارنةً بمجموعة البيانات المستخدمة في التدريب (وهي ظاهرة تُعرف أحيانًا بالانكماش ) . [ 2 ] على وجه الخصوص، ستنخفض قيمة معامل التحديد مقارنةً بالبيانات الأصلية.

لتقليل احتمالية أو مقدار التجاوز في التدريب، تتوفر عدة تقنيات (مثل مقارنة النماذج ، والتحقق المتبادل ، والتنظيم ، والتوقف المبكر ، والتقليم ، والتوزيعات الاحتمالية البايزية المسبقة ، أو التسرب ). ويعتمد أساس بعض هذه التقنيات إما على (1) معاقبة النماذج المعقدة بشكل صريح، أو (2) اختبار قدرة النموذج على التعميم من خلال تقييم أدائه على مجموعة بيانات لم تُستخدم في التدريب، والتي يُفترض أنها تُقارب البيانات غير المرئية النموذجية التي سيواجهها النموذج.

الاستدلال الإحصائي

في الإحصاء، يُستخلص الاستنتاج من نموذج إحصائي تم اختياره عبر إجراء معين.  ويجادل بيرنهام وأندرسون، في كتابهما المرجعي حول اختيار النموذج، بأنه لتجنب التوفيق الزائد، ينبغي الالتزام بـ " مبدأ الاقتصاد ". [ 3 ] ويذكر المؤلفان أيضًا ما يلي: [ 3 ] : 32-33

غالبًا ما تخلو النماذج المفرطة التخصيص من التحيز في مُقدِّرات المعلمات، ولكنها تتميز بتباينات معاينة مُقدَّرة (وفعلية) كبيرة بلا داعٍ (دقة المُقدِّرات ضعيفة، مقارنةً بما كان يُمكن تحقيقه بنموذج أكثر اقتصادًا). ​​كما تميل هذه النماذج إلى تحديد تأثيرات علاجية خاطئة، وتُضمَّن متغيرات خاطئة. ... يُمكن الوصول إلى أفضل نموذج تقريبي من خلال الموازنة الصحيحة بين أخطاء التخصيص الناقص والتخصيص المفرط.

يُرجّح أن يُشكّل التوفيق الزائد مشكلةً خطيرةً عندما يكون هناك نقصٌ في النظريات المتاحة لتوجيه التحليل، ويعود ذلك جزئيًا إلى وجود عددٍ كبيرٍ من النماذج للاختيار من بينها. وقد ورد هذا في كتاب "اختيار النموذج ومتوسط ​​النماذج " (2008). [ 5 ]

بامتلاكك مجموعة بيانات، يمكنك تدريب آلاف النماذج بضغطة زر، لكن كيف تختار الأفضل؟ مع هذا الكم الهائل من النماذج المرشحة، يُصبح الإفراط في التدريب خطرًا حقيقيًا. هل القرد الذي كتب هاملت كاتبٌ جيد حقًا؟

الانحدار

في تحليل الانحدار ، يحدث التوفيق الزائد بشكل متكرر. [ 6 ] كمثال متطرف، إذا كان هناك p متغيرًا في انحدار خطي مع p نقطة بيانات، فقد يمر الخط المُلائم بكل نقطة بدقة. [ 7 ] بالنسبة لنماذج الانحدار اللوجستي أو نماذج كوكس للمخاطر النسبية ، توجد مجموعة متنوعة من القواعد العامة (مثل 5-9، [ 8 ] 10 [ 9 ] و10-15 [ 10 ] - تُعرف قاعدة 10 مشاهدات لكل متغير مستقل باسم " قاعدة واحد من عشرة "). في عملية اختيار نموذج الانحدار، يمكن تقسيم متوسط ​​مربع الخطأ لدالة الانحدار العشوائية إلى ضوضاء عشوائية، وانحياز تقريبي، وتباين في تقدير دالة الانحدار. غالبًا ما تُستخدم المفاضلة بين الانحياز والتباين للتغلب على نماذج التوفيق الزائد.

مع وجود مجموعة كبيرة من المتغيرات التفسيرية التي لا ترتبط فعلياً بالمتغير التابع المراد التنبؤ به، قد تُعتبر بعض المتغيرات ذات دلالة إحصائية خاطئة ، وبالتالي قد يُبقيها الباحث في النموذج، مما يؤدي إلى فرط ملاءمة النموذج. يُعرف هذا بمفارقة فريدمان .

التعلم الآلي

الشكل 4. الإفراط في التخصيص/التدريب في التعلم الخاضع للإشراف (مثل الشبكة العصبية ). يظهر خطأ التدريب باللون الأزرق، وخطأ التحقق باللون الأحمر، وكلاهما كدالة لعدد دورات التدريب. إذا ازداد خطأ التحقق (ميل موجب) بينما انخفض خطأ التدريب باطراد (ميل سالب)، فقد يكون حدث إفراط في التخصيص. أفضل نموذج تنبؤي وملائم هو الذي يكون فيه خطأ التحقق عند أدنى قيمة له.

عادةً، يتم تدريب خوارزمية التعلم باستخدام مجموعة من "بيانات التدريب": وهي حالات نموذجية معروفة المخرجات المطلوبة. والهدف هو أن تؤدي الخوارزمية أداءً جيدًا في التنبؤ بالمخرجات عند تغذيتها بـ"بيانات التحقق" التي لم تُستخدم أثناء التدريب.

يُعرَّف التجاوز في التخصيص بأنه استخدام نماذج أو إجراءات تُخالف مبدأ أوكام ، على سبيل المثال، بإضافة عدد من المعاملات القابلة للتعديل يفوق العدد الأمثل، أو باستخدام منهج أكثر تعقيدًا من المنهج الأمثل. فعلى سبيل المثال، عند وجود عدد كبير جدًا من المعاملات القابلة للتعديل، لنفترض مجموعة بيانات يمكن فيها التنبؤ ببيانات التدريب لـ y بدقة باستخدام دالة خطية لمتغيرين مستقلين. تتطلب هذه الدالة ثلاثة معاملات فقط (الحد الثابت وميلان). إن استبدال هذه الدالة البسيطة بدالة تربيعية جديدة أكثر تعقيدًا، أو بدالة خطية جديدة أكثر تعقيدًا لأكثر من متغيرين مستقلين، ينطوي على مخاطرة: إذ ينص مبدأ أوكام على أن أي دالة معقدة معينة أقل احتمالًا مسبقًا من أي دالة بسيطة معينة. إذا تم اختيار الدالة الجديدة الأكثر تعقيدًا بدلًا من الدالة البسيطة، ولم يكن هناك تحسن كافٍ في ملاءمة بيانات التدريب لتعويض زيادة التعقيد، فإن الدالة المعقدة الجديدة "تُفرط في ملاءمة" البيانات، ومن المرجح أن يكون أداء الدالة المعقدة المُفرطة في الملاءمة أسوأ من أداء الدالة الأبسط على بيانات التحقق خارج مجموعة بيانات التدريب، على الرغم من أن أداء الدالة المعقدة كان مماثلًا، أو ربما أفضل، على مجموعة بيانات التدريب. [ 11 ]

عند مقارنة أنواع النماذج المختلفة، لا يمكن قياس التعقيد بمجرد حساب عدد المعاملات الموجودة في كل نموذج؛ بل يجب مراعاة قدرة كل معامل على التعبير. على سبيل المثال، من الصعب مقارنة تعقيد الشبكة العصبية (التي يمكنها تتبع العلاقات المنحنية) ذات m معاملًا بنموذج الانحدار ذي n معاملًا. [ 11 ]

يزداد احتمال حدوث فرط التخصيص بشكل خاص في الحالات التي تستغرق فيها عملية التعلم وقتًا طويلاً أو عندما تكون أمثلة التدريب نادرة، مما يدفع المتعلم إلى التكيف مع خصائص عشوائية محددة جدًا لبيانات التدريب لا ترتبط ارتباطًا سببيًا بالدالة المستهدفة . في هذه العملية من فرط التخصيص، يستمر الأداء على أمثلة التدريب في التحسن بينما يتدهور الأداء على البيانات غير المرئية.

كمثال بسيط، لنفترض قاعدة بيانات لمشتريات التجزئة تتضمن السلعة المشتراة، والمشتري، وتاريخ ووقت الشراء. من السهل بناء نموذج يطابق مجموعة التدريب تمامًا باستخدام تاريخ ووقت الشراء للتنبؤ بالخصائص الأخرى، لكن هذا النموذج لن يكون قابلاً للتعميم على بيانات جديدة لأن تلك الأوقات السابقة لن تتكرر أبدًا.

بشكل عام، يُقال إن خوارزمية التعلم تعاني من فرط التخصيص مقارنةً بخوارزمية أبسط إذا كانت أكثر دقة في مطابقة البيانات المعروفة (الاستبصار) ولكنها أقل دقة في التنبؤ بالبيانات الجديدة (التنبؤ). يمكن فهم فرط التخصيص بشكل بديهي من خلال حقيقة أن المعلومات المستقاة من جميع التجارب السابقة يمكن تقسيمها إلى مجموعتين: معلومات ذات صلة بالمستقبل، ومعلومات غير ذات صلة ("تشويش"). مع ثبات جميع العوامل الأخرى، كلما زادت صعوبة التنبؤ بمعيار ما (أي كلما زاد عدم اليقين فيه)، زاد التشويش الموجود في المعلومات السابقة والذي يجب تجاهله. تكمن المشكلة في تحديد الجزء الذي يجب تجاهله. تُسمى خوارزمية التعلم التي يمكنها تقليل خطر مطابقة التشويش " خوارزمية قوية ".

عواقب

صورة لامرأة
نسخة مشابهة جداً للصورة الأولى
قد تُنتج النماذج التوليدية المُفرطة في التخصيص مخرجاتٍ مُطابقة تقريبًا لعينات من مجموعة التدريب الخاصة بها. [ 12 ] أُدرجت الصورة الموجودة على اليسار لآن غراهام لوتز في مجموعة تدريب Stable Diffusion ، وهو نموذج لتحويل النص إلى صورة ؛ أما الصورة الموجودة على اليمين فقد تم إنشاؤها بواسطة Stable Diffusion باستخدام المُوجِّه Anne Graham Lotz.

إن أبرز نتائج الإفراط في التخصيص هي ضعف الأداء على مجموعة بيانات التحقق. وتشمل النتائج السلبية الأخرى ما يلي:

  • من المرجح أن تطلب الدالة التي تعاني من فرط التخصيص معلومات أكثر عن كل عنصر في مجموعة بيانات التحقق مقارنةً بالدالة المثلى؛ وقد يكون جمع هذه البيانات الإضافية غير الضرورية مكلفًا أو عرضة للخطأ، خاصةً إذا كان يجب جمع كل معلومة على حدة عن طريق الملاحظة البشرية وإدخال البيانات يدويًا. [ 11 ]
  • من المرجح أن تكون الدالة الأكثر تعقيدًا والتي تعاني من فرط التخصيص أقل قابلية للنقل من الدالة البسيطة. فعلى سبيل المثال، يُعدّ الانحدار الخطي ذو المتغير الواحد قابلاً للنقل لدرجة أنه يمكن إجراؤه يدويًا عند الضرورة. وعلى النقيض من ذلك، توجد نماذج لا يمكن إعادة إنتاجها إلا بتكرار إعداد النموذج الأصلي بالكامل بدقة، مما يجعل إعادة الاستخدام أو إعادة الإنتاج العلمي أمرًا صعبًا. [ 11 ]
  • قد يكون من الممكن إعادة بناء تفاصيل حالات التدريب الفردية من مجموعة بيانات التدريب الخاصة بنموذج تعلم آلي مُفرط التخصيص. قد يكون هذا غير مرغوب فيه إذا كانت بيانات التدريب، على سبيل المثال، تتضمن معلومات شخصية حساسة . تُثير هذه الظاهرة أيضًا مشكلات في مجال الذكاء الاصطناعي وحقوق الملكية الفكرية ، حيث رُفعت دعاوى قضائية ضد مطوري بعض نماذج التعلم العميق التوليدي، مثل Stable Diffusion و GitHub Copilot، بتهمة انتهاك حقوق الملكية الفكرية، وذلك لأن هذه النماذج وُجد أنها قادرة على إعادة إنتاج بعض العناصر المحمية بحقوق الملكية الفكرية من بيانات التدريب الخاصة بها. [ 12 ] [ 13 ]

علاج

عادةً ما تتطلب الدالة المثلى التحقق منها على مجموعات بيانات أكبر أو جديدة تمامًا. ومع ذلك، توجد طرق مثل شجرة الامتداد الأدنى أو عمر الارتباط ، والتي تعتمد على العلاقة بين معاملات الارتباط والسلاسل الزمنية (عرض النافذة). عندما يكون عرض النافذة كبيرًا بما يكفي، تصبح معاملات الارتباط مستقرة ولا تعتمد على حجم عرض النافذة. لذلك، يمكن إنشاء مصفوفة ارتباط بحساب معامل الارتباط بين المتغيرات المدروسة. يمكن تمثيل هذه المصفوفة طوبولوجيًا كشبكة معقدة تُظهر التأثيرات المباشرة وغير المباشرة بين المتغيرات.

يمكن لتقنية التسرب (الإزالة العشوائية لبيانات مجموعة التدريب) أن تُحسّن من متانة النموذج، وبالتالي تُقلل من فرط التخصيص، وذلك عن طريق إزالة المدخلات إلى طبقة ما بشكل احتمالي. كما يُعدّ التقليم تقنية أخرى تُخفف من فرط التخصيص وتُحسّن من التعميم من خلال تحديد بنية شبكة عصبية مثالية ذات كثافة منخفضة، [ 14 ] مع تقليل التكلفة الحسابية للتدريب والاستدلال في الوقت نفسه.

غير لائق

الشكل 5. يمثل الخط الأحمر نموذجًا غير ملائم للبيانات الممثلة باللون الأزرق. سيكون النموذج الأنسب على شكل قطع مكافئ لتمثيل انحناء البيانات.
الشكل 6. يمثل الخط الأزرق نموذجًا مناسبًا لنقاط البيانات الممثلة باللون الأخضر.

يُعدّ نقص التوافق عكس فرط التوافق، أي أن النموذج الإحصائي أو خوارزمية التعلّم الآلي مُبسّطة للغاية بحيث لا تستطيع رصد أنماط البيانات بدقة. ومن علامات نقص التوافق وجود انحياز عالٍ وتباين منخفض في النموذج أو الخوارزمية المستخدمة (عكس فرط التوافق: انحياز منخفض وتباين عالٍ ). ويمكن استنتاج ذلك من خلال مُوازنة الانحياز والتباين ، وهي طريقة لتحليل النموذج أو الخوارزمية من حيث خطأ الانحياز، وخطأ التباين، والخطأ غير القابل للاختزال. فمع وجود انحياز عالٍ وتباين منخفض، لن يُمثّل النموذج نقاط البيانات بدقة، وبالتالي لن يكون قادرًا على التنبؤ بنتائج البيانات المستقبلية بدقة كافية (انظر خطأ التعميم ). وكما هو موضح في الشكل 5، لا يُمكن للخط المستقيم تمثيل جميع نقاط البيانات المُعطاة لأن الخط لا يُحاكي انحناء النقاط. من المتوقع أن نرى خطًا على شكل قطع مكافئ كما هو موضح في الشكل 6 والشكل 1. إذا تم استخدام الشكل 5 للتحليل، فسيتم إعطاء نتائج تنبؤية خاطئة على عكس النتائج إذا تم تحليل الشكل 6.

يذكر برنهام  وأندرسون ما يلي. [ 3 ] : 32

... النموذج غير الملائم يتجاهل بعض البنى المهمة القابلة للتكرار (أي القابلة للتكرار من الناحية المفاهيمية في معظم العينات الأخرى) في البيانات، وبالتالي يفشل في تحديد التأثيرات التي تدعمها البيانات بالفعل. في هذه الحالة، يكون التحيز في مُقدِّرات المعلمات كبيرًا في كثير من الأحيان، ويتم التقليل من شأن تباين العينة، وكلا العاملين يؤديان إلى ضعف تغطية فترات الثقة. تميل النماذج غير الملائمة إلى إغفال تأثيرات العلاج المهمة في البيئات التجريبية.

حل مشكلة عدم التوافق

توجد طرق متعددة للتعامل مع عدم ملاءمة الملابس:

  1. زيادة تعقيد النموذج: إذا كان النموذج بسيطًا للغاية، فقد يكون من الضروري زيادة تعقيده بإضافة المزيد من الميزات، أو زيادة عدد المعلمات، أو استخدام نموذج أكثر مرونة. ومع ذلك، ينبغي القيام بذلك بحذر لتجنب فرط التخصيص. [ 15 ]
  2. استخدم خوارزمية مختلفة: إذا لم تتمكن الخوارزمية الحالية من استخلاص الأنماط من البيانات، فقد يكون من الضروري تجربة خوارزمية أخرى. على سبيل المثال، قد تكون الشبكة العصبية أكثر فعالية من نموذج الانحدار الخطي لبعض أنواع البيانات. [ 15 ]
  3. زيادة كمية بيانات التدريب: إذا كان النموذج يعاني من نقص في البيانات، فقد تساعد زيادة كمية بيانات التدريب. سيُمكّن ذلك النموذج من استخلاص الأنماط الكامنة في البيانات بشكل أفضل. [ 15 ]
  4. التنظيم: التنظيم هو أسلوب يُستخدم لمنع فرط التخصيص عن طريق إضافة حد جزائي إلى دالة الخسارة، مما يقلل من قيم المعلمات الكبيرة. كما يمكن استخدامه لمنع نقص التخصيص عن طريق التحكم في تعقيد النموذج. [ 16 ]
  5. أساليب التجميع : تجمع أساليب التجميع بين نماذج متعددة لإنشاء تنبؤ أكثر دقة. وهذا يساعد على تقليل مشكلة عدم التوافق من خلال السماح لنماذج متعددة بالعمل معًا لاستخلاص الأنماط الكامنة في البيانات.
  6. هندسة الميزات : تتضمن هندسة الميزات إنشاء ميزات جديدة للنموذج من الميزات الموجودة، والتي قد تكون أكثر ملاءمة للمشكلة المطروحة. وهذا من شأنه أن يساعد في تحسين دقة النموذج ومنع نقص التوافق. [ 15 ]

التجهيز الزائد الحميد

يُشير مصطلح "التدريب الزائد الحميد" إلى ظاهرة نموذج إحصائي يبدو أنه يُعمم بشكل جيد على بيانات غير مرئية، حتى عندما يكون قد تم تدريبه بشكل مثالي على بيانات تدريب مشوشة (أي، يحقق دقة تنبؤية مثالية على مجموعة التدريب). تُعد هذه الظاهرة ذات أهمية خاصة في الشبكات العصبية العميقة ، ولكنها تُدرس من منظور نظري في سياق نماذج أبسط بكثير، مثل الانحدار الخطي . على وجه الخصوص، ثبت أن زيادة عدد المعلمات أمر ضروري للتدريب الزائد الحميد في هذا السياق. بعبارة أخرى، يجب أن يتجاوز عدد الاتجاهات في فضاء المعلمات غير المهمة للتنبؤ حجم العينة بشكل كبير. [ 17 ]

انظر أيضاً

ملحوظات

  1. ↑ تعريف " التجاوز " في OxfordDictionaries.com : هذا التعريف خاص بالإحصاءات.
  2. 1 2 3 إيفريت بي إس، سكروندال أ. (2010)، قاموس كامبريدج للإحصاء ، مطبعة جامعة كامبريدج .
  3. 1 2 3 4 برنهام، ك.ب.؛ أندرسون، د.ر. (2002)، اختيار النموذج والاستدلال متعدد النماذج (الطبعة الثانية  )، سبرينغر-فيرلاغ.
  4. ↑ بوتو، ليون؛ بوسكيه، أوليفييه (30-09-2011)، "مفاضلات التعلم واسع النطاق" ، التحسين للتعلم الآلي ، مطبعة معهد ماساتشوستس للتكنولوجيا، ص 351-368 ، doi : 10.7551/mitpress/8996.003.0015 ، ISBN  978-0-262-29877-3تم الاطلاع عليه بتاريخ 2023-12-08
  5. ↑ كلايسكنز، ج .؛ هيورت، ن. ل. (2008)، اختيار النموذج ومتوسط ​​النماذج ، مطبعة جامعة كامبريدج.
  6. ↑ هاريل، إف إي جونيور (2001)، استراتيجيات نمذجة الانحدار ، سبرينغر.
  7. ↑ مارثا ك. سميث (13 يونيو 2014). "التخصيص الزائد" . جامعة تكساس في أوستن . تم الاسترجاع في 31 يوليو 2016 .
  8. ↑ فيتينغهوف، إي.؛ ماكولوتش، سي إي (2007). "تخفيف قاعدة عشرة أحداث لكل متغير في الانحدار اللوجستي وانحدار كوكس". المجلة الأمريكية لعلم الأوبئة . 165 (6): 710-718 . doi : 10.1093/aje/kwk052 . PMID 17182981 . 
  9. ↑ درابر، نورمان ر.؛ سميث، هاري (1998). تحليل الانحدار التطبيقي ( الطبعة الثالثة). وايلي . ISBN  978-0471170822.
  10. ↑ جيم فروست (2015-09-03). "خطر الإفراط في ملاءمة نماذج الانحدار" . تم الاسترجاع في 2016-07-31 .
  11. 1 2 3 4 هوكينز، دوغلاس م (2004). "مشكلة التوفيق الزائد". مجلة المعلومات الكيميائية والنمذجة . 44 (1): 1-12 . doi : 10.1021/ ci0342472 . PMID 14741005. S2CID 12440383 .  
  12. 1 2 لي، تيموثي ب. (3 أبريل 2023). "دعاوى حقوق النشر المتعلقة بالانتشار المستقر قد تُحدث زلزالًا قانونيًا للذكاء الاصطناعي" . آرس تكنيكا .
  13. ↑ فينسنت، جيمس (2022-11-08). "الدعوى القضائية التي قد تعيد صياغة قواعد حقوق النشر الخاصة بالذكاء الاصطناعي" . ذا فيرج . تم الاطلاع عليه بتاريخ 2022-12-07 .
  14. ↑ لوكون، يان؛ دينكر، جون؛ سولا، سارة (1989). "الضرر الدماغي الأمثل" . التطورات في أنظمة معالجة المعلومات العصبية . 2. مورغان كوفمان.
  15. 1 2 3 4 "التعلم الآلي | نقص التوافق وكثرة التوافق" . جيكس فور جيكس . 23-11-2017 . تم الاطلاع عليه بتاريخ 27-02-2023 .
  16. ↑ نصرت، إسماعيلوف؛ جانغ، سونغ بونغ (نوفمبر 2018). "مقارنة تقنيات التنظيم في الشبكات العصبية العميقة" . التناظر . 10 (11): 648. Bibcode : 2018Symm...10..648N . doi : 10.3390/sym10110648 . ISSN 2073-8994 . 
  17. ↑ بارتليت، بي إل، لونغ، بي إم، لوغوسي، جي، وتسيغلر، إيه (2019). التوفيق الزائد الحميد في الانحدار الخطي. وقائع الأكاديمية الوطنية للعلوم، 117، 30063 - 30070.

مراجع

للمزيد من القراءة