معيار معلومات أكايكي

معيار معلومات أكايكي ( AIC ) هو مقياس لتقدير خطأ التنبؤ ، وبالتالي الجودة النسبية للنماذج الإحصائية لمجموعة بيانات معينة. ^{[ 1 ]}^{[ 2 ]}^{[ 3 ]} وبالنظر إلى مجموعة من النماذج للبيانات، يُقدّر معيار AIC جودة كل نموذج مقارنةً بالنماذج الأخرى. لذا، يُوفّر معيار AIC وسيلةً لاختيار النموذج الأمثل .

يستند معيار معلومات أكايكي (AIC) إلى نظرية المعلومات . فعند استخدام نموذج إحصائي لتمثيل العملية التي ولّدت البيانات، يكاد يكون هذا التمثيل غير دقيق؛ لذا ستُفقد بعض المعلومات عند استخدام النموذج لتمثيل العملية. ويُقدّر معيار معلومات أكايكي (AIC) النسبة المئوية للمعلومات المفقودة في نموذج مُحدد: فكلما قلّت المعلومات المفقودة، زادت جودة هذا النموذج.

عند تقدير كمية المعلومات المفقودة بواسطة نموذج ما، يتعامل معيار معلومات أكايكي (AIC) مع المفاضلة بين جودة ملاءمة النموذج وبساطة النموذج، ويوازن بين خطر الإفراط في الملاءمة وخطر نقص الملاءمة.

سُمّي معيار معلومات أكايكي نسبةً إلى الإحصائي الياباني هيروتوغو أكايكي ، الذي صاغه. وهو يُشكّل الآن أساسًا لنموذج أسس الإحصاء ، ويُستخدم على نطاق واسع في الاستدلال الإحصائي .

تعريف

لنفترض أن لدينا نموذجًا إحصائيًا لبعض البيانات. ليكن $k$ عدد المعلمات المقدرة في النموذج. ${\hat {L}}$ إذا كانت هي القيمة القصوى لدالة الاحتمال للنموذج، فإن قيمة معيار معلومات أكايكي (AIC) للنموذج هي كما يلي: ^{[ 4 ]}^{[ 5 ]}

\mathrm {AIC} \,=\,2k-2\ln({\hat {L}})

عند وجود مجموعة من النماذج المرشحة للبيانات، يُفضّل النموذج ذو أقل قيمة لمعيار معلومات أكايكي (AIC). وبالتالي، يُكافئ معيار AIC جودة المطابقة (كما يُقاس بدالة الاحتمال)، ولكنه يتضمن أيضًا عقوبة تتزايد مع ازدياد عدد المعلمات المُقدّرة. تُثني هذه العقوبة عن المبالغة في التخصيص ، وهو أمر مرغوب فيه لأن زيادة عدد المعلمات في النموذج تُحسّن جودة المطابقة في أغلب الأحيان.

لنفترض أن البيانات مُولَّدة بواسطة عملية مجهولة f . ندرس نموذجين مُرشَّحين لتمثيل f : g1 و _g2 . إذا عرفنا f ، يُمكننا إيجاد المعلومات المفقودة عند استخدام g1 لتمثيل f بحساب تباعد كولباك-لايبير ، DKL ( f ‖ g1_{) ؛ وبالمثل}، يُمكن إيجاد المعلومات المفقودة عند استخدام g2 لتمثيل f بحساب _DKL ( f ‖ _g2 ) . _{عندئذٍ ، نختار}_{عادةً النموذج المُرشَّح}الذي يُقلِّل_من_فقدان المعلومات.

لا يمكننا الاختيار بيقين، لأننا لا نعرف قيمة f . ومع ذلك، أظهر أكايكي (1974) أنه يمكننا تقدير مقدار المعلومات المفقودة (أكثر أو أقل) بواسطة g1 مقارنةً بـ g2، وذلك باستخدام معيار معلومات أكايكي (AIC). إلا أن _هذا_{التقدير}صالح فقط في الحالة التقاربية ؛ فإذا كان عدد نقاط البيانات صغيرًا، فغالبًا ما يكون من الضروري إجراء بعض التصحيحات (انظر AICc ، أدناه).

تجدر الإشارة إلى أن معيار معلومات أكايكي (AIC) لا يُشير إلى الجودة المطلقة للنموذج، بل إلى جودته النسبية مقارنةً بالنماذج الأخرى. لذا، إذا كانت جميع النماذج المرشحة ضعيفة، فلن يُنبّه معيار AIC إلى ذلك. لذلك، يُنصح عادةً، بعد اختيار نموذج باستخدام معيار AIC، بالتحقق من جودته المطلقة. يشمل هذا التحقق عادةً فحص قيم البواقي ( لتحديد ما إذا كانت عشوائية) واختبار تنبؤات النموذج. لمزيد من المعلومات حول هذا الموضوع، راجع قسم التحقق من صحة النماذج الإحصائية .

كيفية استخدام معيار المعلومات التطبيقية (AIC) عملياً

لتطبيق معيار معلومات أكايكي (AIC) عمليًا، نبدأ بمجموعة من النماذج المرشحة، ثم نجد قيم AIC المقابلة لكل نموذج. يكاد يكون من المؤكد فقدان بعض المعلومات عند استخدام نموذج مرشح لتمثيل "النموذج الحقيقي"، أي العملية التي ولّدت البيانات. نسعى لاختيار النموذج الذي يقلل من فقدان المعلومات من بين النماذج المرشحة. لا يمكننا الاختيار بيقين تام، ولكن يمكننا تقليل فقدان المعلومات المُقدّر.

لنفترض وجود R نموذجًا مرشحًا. لنرمز إلى قيم معيار معلومات أكايكي (AIC) لهذه النماذج بـ AIC1 _، AIC2 _، AIC3 _، ...، _AICR . ولتكن _AICmin هي أصغر هذه القيم. عندئذٍ، يمكن تفسير المقدار exp((AICmin ₋ AICi ₎ /2) على أنه يتناسب مع احتمال أن يقلل النموذج رقم i من فقدان المعلومات (المُقدَّر). ^{[ 6 ]}

على سبيل المثال، لنفترض وجود ثلاثة نماذج مرشحة، قيم معيار معلومات أكايكي (AIC) الخاصة بها هي 100 و102 و110. عندئذٍ، يكون النموذج الثاني أقل احتمالاً $بنسبة 0.368$ مرة من النموذج الأول لتقليل فقدان المعلومات، وذلك وفقًا لـ exp((100 − 102)/2). وبالمثل، يكون النموذج الثالث أقل احتمالاً بنسبة 0.007 مرة من النموذج الأول لتقليل فقدان المعلومات، وذلك وفقًا $لـ exp((100 - 110)/2).$

في هذا المثال، سنستبعد النموذج الثالث من الدراسة. لدينا حينها ثلاثة خيارات: (1) جمع المزيد من البيانات، على أمل أن يسمح ذلك بالتمييز بوضوح بين النموذجين الأولين؛ (2) الاستنتاج ببساطة أن البيانات غير كافية لدعم اختيار نموذج واحد من بين النموذجين الأولين؛ (3) حساب المتوسط المرجح للنموذجين الأولين، بأوزان تتناسب مع 1 و0.368 على التوالي، ثم إجراء استدلال إحصائي بناءً على النموذج المتعدد المرجح . ^{[ 7 ]}

تُعرف الكمية $exp((AIC min - AIC i)/2)$ بالاحتمالية النسبية للنموذج i . وهي ترتبط ارتباطًا وثيقًا بنسبة الاحتمالية المستخدمة في اختبار نسبة الاحتمالية . في الواقع، إذا كانت جميع النماذج في مجموعة المرشحين تحتوي على نفس عدد المعلمات، فقد يبدو استخدام معيار معلومات أكايكي (AIC) في البداية مشابهًا جدًا لاستخدام اختبار نسبة الاحتمالية. ومع ذلك، توجد اختلافات مهمة. على وجه الخصوص، لا يكون اختبار نسبة الاحتمالية صالحًا إلا للنماذج المتداخلة ، بينما لا يفرض معيار معلومات أكايكي (AIC) (ومعيار معلومات أكايكي المصحح (AICc)) مثل هذا القيد. ^{[ 8 ]}^{[ 9 ]}

اختبار الفرضيات

يمكن صياغة كل اختبار فرضية إحصائية على أنه مقارنة بين نماذج إحصائية. وبالتالي، يمكن تكرار كل اختبار فرضية إحصائية باستخدام معيار معلومات أكايكي (AIC). يرد وصف موجز لمثالين في الأقسام الفرعية أدناه. وتُقدم تفاصيل هذين المثالين، بالإضافة إلى العديد من الأمثلة الأخرى، في كتابي ساكاموتو، وإيشيغورو، وكيتاغاوا ( 1986 ، الجزء الثاني) وكونيشي وكيتاغاوا (2008 ، الفصل 4) .

تكرار اختبار t للطالب

كمثال على اختبار الفرضيات، لنأخذ اختبار t لمقارنة متوسطات مجموعتين إحصائيتين موزعتين توزيعًا طبيعيًا . يتكون مدخل اختبار t من عينة عشوائية من كل مجموعة إحصائية.

لصياغة الاختبار كمقارنة بين النماذج، نقوم بإنشاء نموذجين مختلفين. ينمذج النموذج الأول المجتمعين على أنهما يمتلكان متوسطات وانحرافات معيارية مختلفة. وبالتالي، فإن دالة الاحتمال للنموذج الأول هي حاصل ضرب دوال الاحتمال لتوزيعين طبيعيين مختلفين؛ لذا فهي تحتوي على أربعة معلمات: $μ₁$ $، σ₁، μ₂$ $،$ $σ₂$ $.$ $وبالتحديد$ $،$ $تكون$ $دالة$ $الاحتمال$ كما $يلي$ ( $حيث يرمز$ $n₁$ و $n₂$ إلى حجمي العينة $)$ .

{\mathcal {L}}(\mu _{1},\sigma _{1},\mu _{2},\sigma _{2})\,=\,

\begin{displaystyle \;\;\;\;\;\;\;\;\prod_{i=1}^{n_{1}}{\frac{1}{\sqrt{2\pi}}\sigma_{1}}}\exp\left(-{\frac{(x_{i}-\mu_{1})^{2}}{2\sigma_{1}^{2}}}\right)\;\,{\boldsymbol{\cdot}}\,\prod_{i=n_{1}+1}^{n_{1}+n_{2}}{\frac{1}{\sqrt{2\pi}}\sigma_{2}}}\exp\left(-{\frac{(x_{i}-\mu_{2})^{2}}{2\sigma_{2}^{2}}}\right)}

يفترض النموذج الثاني أن للمجموعتين نفس المتوسطات ونفس الانحرافات المعيارية. وبالتالي، فإن دالة الاحتمال لهذا النموذج تحدد $μ₁$ $=$ $μ₂ و σ₁$ $= σ₂ في$ المعادلة $أعلاه$ $؛$ $لذا فهي تحتوي$ $على$ معلَمين فقط.

ثم نقوم بتعظيم دوال الاحتمال للنموذجين (عمليًا، نقوم بتعظيم دوال الاحتمال اللوغاريتمي)؛ بعد ذلك، يسهل حساب قيم معيار معلومات أكايكي (AIC) للنموذجين. ثم نحسب الاحتمال النسبي. على سبيل المثال، إذا كان احتمال النموذج الثاني أقل بمقدار 0.01 مرة فقط من احتمال النموذج الأول، فإننا نستبعد النموذج الثاني من الدراسة اللاحقة، وبالتالي نستنتج أن متوسطي المجموعتين مختلفان.

يفترض اختبار t أن الانحرافات المعيارية للمجموعتين متطابقة؛ ويميل الاختبار إلى أن يكون غير موثوق إذا كان هذا الافتراض خاطئًا وكان حجم العينتين مختلفًا جدًا ( ويُعدّ اختبار t لـ Welch أفضل في هذه الحالة). وينطبق العيب نفسه على مقارنة متوسطات المجموعتين باستخدام معيار معلومات أكايكي (AIC)، كما في المثال السابق. مع ذلك، يمكن إنشاء نموذج ثالث يسمح بانحرافات معيارية مختلفة. يتميز هذا النموذج الثالث بعدم وجود مثل هذه الافتراضات، ولكنه يُضيف مُعاملًا إضافيًا، وبالتالي درجة حرية.

مقارنة مجموعات البيانات الفئوية

كمثال آخر على اختبار الفرضيات، لنفترض أن لدينا مجموعتين، وأن كل فرد في كل مجموعة ينتمي إلى إحدى فئتين : الفئة الأولى أو الفئة الثانية. تتبع كلتا المجموعتين التوزيع الثنائي . نريد معرفة ما إذا كان توزيع المجموعتين متطابقًا. لدينا عينة عشوائية من كل مجموعة.

لنفترض أن $m$ $هو$ حجم العينة من المجتمع الإحصائي الأول. ولنفترض أن $m₁$ $هو$ عدد المشاهدات (في العينة) في الفئة رقم 1؛ وبالتالي فإن عدد المشاهدات في الفئة رقم 2 هو $m - m₁$ . وبالمثل، لنفترض أن $n$ هو حجم العينة من المجتمع الإحصائي الثاني. ولنفترض أن $n₁$ $هو$ عدد المشاهدات (في العينة) في الفئة رقم 1.

لنفترض أن $p$ هي احتمالية أن يكون فردٌ مختارٌ عشوائيًا من المجموعة الأولى ضمن الفئة رقم 1. بالتالي، فإن احتمالية أن يكون فردٌ مختارٌ عشوائيًا من المجموعة الأولى ضمن الفئة رقم 2 هي $1 - p$ . لاحظ أن توزيع المجموعة الأولى له مُعامل واحد. ولنفترض أن $q$ هي احتمالية أن يكون فردٌ مختارٌ عشوائيًا من المجموعة الثانية ضمن الفئة رقم 1. لاحظ أيضًا أن توزيع المجموعة الثانية له مُعامل واحد.

لمقارنة توزيعات المجموعتين، قمنا بإنشاء نموذجين مختلفين. يفترض النموذج الأول أن للمجموعتين توزيعات مختلفة محتملة. وبالتالي، فإن دالة الاحتمال لهذا النموذج هي حاصل ضرب دوال الاحتمال لتوزيعين ثنائيين مختلفين؛ لذا فهي تحتوي على معلَمَين: $p$ و $q$ . وبالتحديد، تكون دالة الاحتمال كما يلي.

{\mathcal {L}}(p,q)\,=\,{\frac {m!}{m_{1}!(m-m_{1})!}}p^{m_{1}}(1-p)^{m-m_{1}}\;\,{\boldsymbol {\cdot }}\;\;{\frac {n!}{n_{1}!(n-n_{1})!}}q^{n_{1}}(1-q)^{n-n_{1}}

يفترض النموذج الثاني أن المجموعتين السكانيتين لهما نفس التوزيع. وبالتالي، فإن دالة الاحتمال للنموذج الثاني تحدد قيمة $p = q$ في المعادلة أعلاه؛ لذا فإن النموذج الثاني يحتوي على مُعامل واحد.

ثم نقوم بتعظيم دوال الاحتمال للنموذجين (عمليًا، نقوم بتعظيم دوال الاحتمال اللوغاريتمي)؛ بعد ذلك، يسهل حساب قيم معيار معلومات أكايكي (AIC) للنموذجين. ثم نحسب الاحتمال النسبي. على سبيل المثال، إذا كان احتمال النموذج الثاني أقل بمقدار 0.01 مرة فقط من احتمال النموذج الأول، فإننا نستبعد النموذج الثاني من الدراسة اللاحقة، وبالتالي نستنتج أن للمجموعتين توزيعات مختلفة.

أسس الإحصاء

يُعتبر الاستدلال الإحصائي عمومًا مُتضمنًا لاختبار الفرضيات والتقدير . يُمكن إجراء اختبار الفرضيات باستخدام معيار معلومات أكايكي (AIC)، كما ذُكر سابقًا. أما فيما يتعلق بالتقدير، فهناك نوعان: التقدير النقطي والتقدير الفتري . يُمكن إجراء التقدير النقطي ضمن نموذج AIC، حيث يتم توفيره من خلال تقدير الاحتمال الأقصى . كما يُمكن إجراء التقدير الفتري ضمن نموذج AIC أيضًا، حيث يتم توفيره من خلال فترات الاحتمال . وبالتالي، يُمكن عمومًا إجراء الاستدلال الإحصائي ضمن نموذج AIC.

أكثر النماذج استخدامًا للاستدلال الإحصائي هي الاستدلال التكراري والاستدلال البايزي . مع ذلك، يمكن استخدام معيار معلومات أكايكي (AIC) لإجراء الاستدلال الإحصائي دون الاعتماد على أيٍّ من النموذجين التكراري أو البايزي، إذ يُمكن تفسير AIC دون الحاجة إلى مستويات الدلالة أو التوزيعات البايزية المسبقة . ^{[ 10 ]} بعبارة أخرى، يُمكن استخدام AIC لتأسيس قاعدة إحصائية متميزة عن كلٍّ من التكرارية والبيزية. ^{[ 11 ]}^{[ 12 ]}

تعديل لحجم العينة الصغير

عندما يكون حجم العينة صغيرًا، يزداد احتمال أن يختار معيار معلومات أكايكي (AIC) نماذج ذات معلمات كثيرة جدًا، أي أن معيار AIC يُفرط في التخصيص. ^{[ 13 ]}^{[ 14 ]}^{[ 15 ]} ولمعالجة هذا الإفراط المحتمل في التخصيص، تم تطوير معيار AICc: وهو معيار AIC مع تصحيح لأحجام العينات الصغيرة.

تعتمد صيغة AICc على النموذج الإحصائي. بافتراض أن النموذج أحادي المتغير ، وخطي في معاييره، وله توزيع طبيعي للبواقي (بشرط وجود المتغيرات المستقلة)، فإن صيغة AICc تكون كما يلي. ^{[ 16 ]}^{[ 17 ]}^{[ 18 ]}^{[ 19 ]}

\mathrm {AICc} \,=\,\mathrm {AIC} +{\frac {2k^{2}+2k}{nk-1}}

حيث يرمز $n$ إلى حجم العينة و $k$ إلى عدد المعلمات. وبالتالي، فإن AICc هو في الأساس AIC مع إضافة حد جزائي لعدد المعلمات. لاحظ أنه عندما $n \to \infty$ ، يتقارب الحد الجزائي الإضافي إلى 0، وبالتالي يتقارب AICc إلى AIC. ^{[ 20 ]}

إذا لم يتحقق افتراض أن النموذج أحادي المتغير وخطي ذو بواقي طبيعية، فإن صيغة AICc ستختلف عمومًا عن الصيغة المذكورة أعلاه. بالنسبة لبعض النماذج، قد يصعب تحديد الصيغة. مع ذلك، بالنسبة لكل نموذج تتوفر له قيمة AICc، تُعطى صيغة AICc بـ AIC مضافًا إليها حدود تتضمن كلًا من ^k $و$ k² $.$ في المقابل، تتضمن صيغة AIC $قيمة$ $k$ فقط دون ^k² . بعبارة أخرى، يُعد AIC تقديرًا من الدرجة الأولى (لفقدان المعلومات)، بينما يُعد AICc تقديرًا من الدرجة الثانية . ^[²¹^]

يُقدّم كلٌّ من برنهام وأندرسون (2002 ، الفصل 7) وكونيشي وكيتاغاوا (2008 ، الفصلان 7-8) مزيدًا من النقاش حول الصيغة، مع أمثلة على افتراضات أخرى. وبشكل خاص، مع افتراضات أخرى، غالبًا ما يكون تقدير الصيغة باستخدام طريقة بوتستراب ممكنًا.

باختصار، يتميز معيار AICc بدقة أعلى من معيار AIC (خاصةً مع العينات الصغيرة)، ولكنه في بعض الأحيان يكون أصعب حسابًا. تجدر الإشارة إلى أنه إذا كانت جميع النماذج المرشحة لها نفس قيمة $k$ ونفس صيغة حساب AICc، فإن AICc وAIC سيعطيان تقييمات متطابقة (نسبيًا)؛ وبالتالي، لن يكون هناك أي عيب في استخدام AIC بدلًا من AICc. علاوة على ذلك، إذا كان $n$ أكبر بكثير من $k²$ ، فإن قيمة الجزاء الإضافية ستكون ضئيلة؛ وبالتالي، سيكون عيب استخدام AIC بدلًا من AICc ضئيلًا أيضًا ^.

تاريخ

صاغ الإحصائي هيروتوغو أكايكي معيار أكايكي للمعلومات . وكان يُسمى في الأصل "معيار المعلومات". ^{[ 22 ]} أعلن أكايكي عنه لأول مرة باللغة الإنجليزية في ندوة عام 1971؛ ونُشرت وقائع الندوة عام 1973. ^{[ 22 ]}^{[ 23 ]} إلا أن منشور عام 1973 كان مجرد عرض غير رسمي للمفاهيم. ^{[ 24 ]} أما أول منشور رسمي فكان ورقة بحثية لأكايكي عام 1974. ^{[ 5 ]}

استند الاشتقاق الأولي لمعيار معلومات أكايكي (AIC) إلى بعض الافتراضات القوية. وقد بيّن تاكيوتشي (1976) أنه يمكن تخفيف هذه الافتراضات بشكل كبير. إلا أن عمل تاكيوتشي كان باللغة اليابانية، ولم يحظَ بشهرة واسعة خارج اليابان لسنوات عديدة. (مترجم في ^{[ 25 ]} )

اقترح سوجيورا (1978) معيار معلومات أكايكي (AIC) في الأصل للانحدار الخطي (فقط) . وقد حفز ذلك عمل هورفيتش وتساي (1989) ، والعديد من الأبحاث الأخرى لنفس المؤلفين، والتي وسعت نطاق الحالات التي يمكن فيها تطبيق معيار معلومات أكايكي المصحح (AICc).

كان كتاب برنهام وأندرسون (2002) أول عرض شامل لمنهج نظرية المعلومات، ويتضمن عرضًا باللغة الإنجليزية لأعمال تاكيوتشي. وقد أدى هذا الكتاب إلى استخدام أوسع بكثير لمعيار معلومات أكايكي (AIC)، ويبلغ عدد الاستشهادات به الآن أكثر من 64000 استشهاد على جوجل سكولار .

أطلق أكايكي على منهجه اسم "مبدأ تعظيم الإنتروبيا"، لأنه قائم على مفهوم الإنتروبيا في نظرية المعلومات . في الواقع، يُعدّ تقليل معيار معلومات أكايكي (AIC) في نموذج إحصائي مكافئًا لتعظيم الإنتروبيا في نظام ديناميكي حراري؛ بعبارة أخرى، يُطبّق المنهج المعلوماتي في الإحصاء القانون الثاني للديناميكا الحرارية . ومن هذا المنطلق، فإنّ معيار معلومات أكايكي (AIC) متجذّر في أعمال لودفيج بولتزمان حول الإنتروبيا . لمزيد من المعلومات حول هذه المسائل، يُرجى مراجعة أكايكي (1985) وبيرنهام وأندرسون (2002 ، الفصل 2) .

نصائح الاستخدام

معايير العد

يجب أن يأخذ النموذج الإحصائي في الحسبان الأخطاء العشوائية. يمكن وصف نموذج الخط المستقيم رسميًا بالمعادلة yᵢ = b₀ + b₁xᵢ + εᵢ . هنا ، تمثل _εᵢ_{البواقي}الناتجة عن مطابقة _الخط المستقيم . إذا افترضنا أن εᵢ _مستقلة ومتطابقة التوزيع ( بمتوسط صفري ₎_{، فإن}النموذج يحتوي على ثلاثة معلمات: b₀ _وb₁ _{وتباين التوزيعات الغاوسية. لذا}_، عند حساب قيمة AIC لهذا النموذج، يجب استخدام k = 3. وبشكل أعم، بالنسبة لأي نموذج مربعات صغرى ذي بواقي مستقلة ومتطابقة التوزيع (بمتوسط صفري)، يجب احتساب تباين توزيعات البواقي كأحد المعلمات. ^[²⁶^]

كمثال آخر، لنفترض نموذج انحدار ذاتي _من الدرجة الأولى _، مُعرَّف بالمعادلة xᵢ = c + φxᵢ⁻¹ ₊εᵢ _، حيث εᵢ متغير عشوائي مستقل ومتطابق التوزيع (بمتوسط صفري). لهذا النموذج، توجد ثلاثة معلمات: c و φ وتباين _εᵢ_. وبشكل أعم، يحتوي نموذج الانحدار الذاتي من الرتبة p على $p$ $+ 2$ معلمات. (أما إذا لم يتم تقدير c من البيانات، بل تم تحديده مسبقًا، فإن عدد المعلمات يكون p $+$ $1$ فقط ).

تحويل البيانات

يجب حساب قيم معيار معلومات أكايكي (AIC) لجميع النماذج المرشحة باستخدام نفس مجموعة البيانات. مع ذلك، قد نرغب أحيانًا في مقارنة نموذج لمتغير الاستجابة y $بنموذج$ للوغاريتم متغير الاستجابة $log(y)$ . وبشكل أعم، قد نرغب في مقارنة نموذج للبيانات بنموذج لبيانات مُحوَّلة . فيما يلي توضيح لكيفية التعامل مع تحويلات البيانات (مقتبس من Burnham & Anderson (2002 ، §2.11.3) : "ينبغي على الباحثين التأكد من نمذجة جميع الفرضيات باستخدام نفس متغير الاستجابة").

لنفترض أننا نريد مقارنة نموذجين: أحدهما بتوزيع طبيعي لـ $y$ والآخر بتوزيع طبيعي لـ $log(y) .$ لا ينبغي لنا مقارنة قيم AIC للنموذجين مباشرةً. بدلاً من ذلك، يجب تحويل دالة التوزيع التراكمي الطبيعي بأخذ لوغاريتم $y$ أولاً . وللقيام بذلك، نحتاج إلى إجراء التكامل اللازم بالتعويض : أي الضرب في مشتقة دالة اللوغاريتم الطبيعي ، وهي $1/ y$ . ومن ثم، يكون للتوزيع المُحوَّل دالة كثافة احتمالية كما يلي :

y\mapsto \,{\frac {1}{y}}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\,\exp \left(-{\frac {\left(\ln y-\mu \right)^{2}}{2\sigma ^{2}}}\right)

وهي دالة كثافة الاحتمال للتوزيع اللوغاريتمي الطبيعي . ثم نقارن قيمة معيار معلومات أكايكي (AIC) للنموذج الطبيعي بقيمة معيار معلومات أكايكي (AIC) للنموذج اللوغاريتمي الطبيعي.

في حالة النماذج غير المحددة بشكل صحيح، قد يكون معيار تاكيوتشي للمعلومات (TIC) أكثر ملاءمة. ومع ذلك، غالباً ما يعاني معيار تاكيوتشي للمعلومات من عدم الاستقرار الناتج عن أخطاء التقدير. ^{[ 27 ]}

مقارنات مع طرق اختيار النموذج الأخرى

طُرحت ودُرست في الأدبيات الإحصائية عدة معايير بديلة لاختيار النموذج. تشمل هذه المعايير معيار المعلومات البايزي (BIC) ، وطرق التحقق المتبادل، وتوفيق المربعات الصغرى ، ومعيار مالوز Cp ، وغيرها من المناهج القائمة على نظرية المعلومات مثل معيار المعلومات واسع التطبيق (WAIC) ، ومعيار معلومات الانحراف (DIC) ، ومعيار معلومات هانان-كوين (HQC) . تختلف هذه الطرق في افتراضاتها وسلوكها التقاربي ومدى ملاءمتها تبعًا لأهداف التحليل، كالتنبؤ أو الاستدلال أو تفسير النموذج. وقدّم دينغ وآخرون (2018) نظرة شاملة على معيار معلومات أكايكي (AIC) وطرق اختيار النموذج الأخرى. ^{[ 28 ]}

مقارنة مع BIC

يكمن أحد الفروق الجوهرية بين معيار معلومات أكايكي (AIC) ومعيار معلومات بايز (BIC) (ومتغيراتهما) في سلوكهما التقاربي في ظل فئات النماذج المحددة جيدًا وغير المحددة بدقة. ^{[ 29 ]} وقد دُرست اختلافاتهما الأساسية دراسة وافية في مسائل اختيار متغيرات الانحدار واختيار رتبة الانحدار الذاتي ^{[ 30 ]} . عمومًا، إذا كان الهدف هو التنبؤ، يُفضل استخدام معيار معلومات أكايكي (AIC) والتحقق المتقاطع بحذف عنصر واحد.

تتشابه صيغة معيار المعلومات البايزي (BIC) مع صيغة معيار معلومات أكايكي (AIC)، ولكن مع اختلاف في قيمة العقوبة لعدد المعلمات. ففي معيار معلومات أكايكي، تكون العقوبة $2k ،$ بينما في معيار المعلومات البايزي تكون العقوبة $ln(n) k$ .

قدم برنهام وأندرسون (2002 ، §6.3-6.4) مقارنة بين معيار معلومات أكايكي (AIC) ومعيار معلومات أكايكي المصحح (AICc) ومعيار معلومات بايز (BIC) ، مع ملاحظات لاحقة من برنهام وأندرسون (2004) . وأوضح المؤلفان أنه يمكن اشتقاق معيار معلومات أكايكي (AIC) ومعيار معلومات أكايكي المصحح (AICc) ضمن نفس الإطار البايزي المستخدم في اشتقاق معيار معلومات بايز (BIC)، وذلك باستخدام احتمالات مسبقة مختلفة . مع ذلك، في الاشتقاق البايزي لمعيار معلومات بايز (BIC)، يكون لكل نموذج مرشح احتمال مسبق يساوي 1/ R (حيث R هو عدد النماذج المرشحة). بالإضافة إلى ذلك، عرض المؤلفان بعض الدراسات المحاكاة التي تشير إلى أن معيار معلومات أكايكي المصحح (AICc) يتميز بمزايا عملية/أدائية مقارنةً بمعيار معلومات بايز (BIC).

أشار العديد من الباحثين إلى أن معيارَي AIC وBIC مناسبان لمهام مختلفة. فبالتحديد، يُعتبر BIC مناسبًا لاختيار "النموذج الحقيقي" (أي العملية التي ولّدت البيانات) من بين مجموعة النماذج المرشحة، بينما لا يُعدّ AIC مناسبًا. وبالتحديد، إذا كان "النموذج الحقيقي" ضمن مجموعة النماذج المرشحة، فإن BIC سيختاره باحتمالية 1 عندما يؤول $n إلى اللانهاية$ ؛ في المقابل، عند الاختيار باستخدام AIC، قد تكون الاحتمالية أقل من 1. ^{[ 31 ]}^{[ 32 ]}^{[ 33 ]} ويجادل مؤيدو AIC بأن هذه المسألة ضئيلة الأهمية، لأن "النموذج الحقيقي" نادرًا ما يكون ضمن مجموعة النماذج المرشحة. في الواقع، من المقولات الشائعة في الإحصاء أن " جميع النماذج خاطئة "؛ وبالتالي، لا يمكن أن يكون "النموذج الحقيقي" (أي الواقع) ضمن مجموعة النماذج المرشحة.

قدم فريز (2012) مقارنة أخرى بين معيار معلومات أكايكي (AIC) ومعيار معلومات بايز (BIC) . وعرض فريز دراسة محاكاة تسمح بوجود "النموذج الأمثل" ضمن مجموعة النماذج المرشحة (على عكس معظم البيانات الحقيقية). وتُظهر دراسة المحاكاة، على وجه الخصوص، أن معيار AIC قد يختار أحيانًا نموذجًا أفضل بكثير من معيار BIC حتى عندما يكون "النموذج الأمثل" ضمن مجموعة النماذج المرشحة. والسبب هو أنه بالنسبة لقيم $n$ المحدودة ، قد ينطوي معيار BIC على مخاطرة كبيرة لاختيار نموذج سيئ للغاية من مجموعة النماذج المرشحة. وقد يظهر هذا السبب حتى عندما تكون $n$ أكبر بكثير من $k²$ . أما مع معيار AIC، فيتم تقليل مخاطرة اختيار نموذج سيئ للغاية إلى أدنى حد ^.

إذا لم يكن "النموذج الحقيقي" ضمن مجموعة النماذج المرشحة، فإن أقصى ما يمكننا فعله هو اختيار النموذج الذي يُقارب "النموذج الحقيقي" بأفضل شكل. يُعدّ معيار معلومات أكايكي (AIC) مناسبًا لإيجاد أفضل نموذج تقريبي، في ظل افتراضات معينة. ^{[ 31 ]}^{[ 32 ]}^{[ 33 ]} (تشمل هذه الافتراضات، على وجه الخصوص، أن التقريب يتم مع مراعاة فقدان المعلومات).

قدم يانغ (2005) مقارنة بين معيار معلومات أكايكي (AIC) ومعيار معلومات بايز (BIC) في سياق الانحدار . في الانحدار، يُعدّ معيار AIC الأمثل تقاربياً لاختيار النموذج ذي أقل متوسط مربع خطأ ، بافتراض أن "النموذج الحقيقي" ليس ضمن مجموعة النماذج المرشحة. أما معيار BIC فليس الأمثل تقاربياً في ظل هذا الافتراض. كما يُبيّن يانغ أن معدل تقارب معيار AIC نحو القيمة المثلى هو، بمعنى ما، الأفضل الممكن.

مقارنة باستخدام طريقة المربعات الصغرى

في بعض الأحيان، يفترض كل نموذج مرشح أن البواقي موزعة وفقًا لتوزيعات طبيعية مستقلة ومتطابقة (بمتوسط صفر). وهذا ما يؤدي إلى ملاءمة نموذج المربعات الصغرى .

باستخدام طريقة المربعات الصغرى، يكون تقدير الاحتمال الأقصى لتباين توزيعات البواقي للنموذج هو

{\hat {\sigma}}^{2}=\mathrm {RSS} /n

،

حيث يكون مجموع مربعات البواقي

\textstyle \mathrm {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i};{\hat {\theta }}))^{2}

ثم، تكون القيمة القصوى لدالة الاحتمال اللوغاريتمي للنموذج هي (انظر التوزيع الطبيعي#الاحتمال اللوغاريتمي ):

\ln({\hat {L}})=-{\frac {n}{2}}\ln(2\pi )-{\frac {n}{2}}\ln({\hat {\sigma }}^{2})-{\frac {1}{2{\hat {\sigma }}^{2}}}\mathrm {RSS} \,=\,-{\frac {n}{2}}\ln({\hat {\sigma }}^{2})+C

حيث $C$ ثابت مستقل عن النموذج، ويعتمد فقط على نقاط البيانات المحددة، أي أنه لا يتغير إذا لم تتغير البيانات.

وهذا يعطينا: ^{[ 34 ]}

\mathrm {AIC} =2k-2\ln({\hat {L}})=2k+n\ln({\hat {\sigma }}^{2})-2C

لأن الاختلافات في معيار معلومات أكايكي (AIC) فقط هي ذات دلالة، يمكن تجاهل الثابت $C$ ، مما يسمح لنا بأخذ ما يلي بسهولة لمقارنة النماذج:

\Delta \mathrm {AIC} =2k+n\ln({\hat {\sigma }}^{2})

لاحظ أنه إذا كانت جميع النماذج لها نفس قيمة $k$ ، فإن اختيار النموذج ذي الحد الأدنى من AIC يعادل اختيار النموذج ذي الحد الأدنى $من RSS$ - وهو الهدف المعتاد لاختيار النموذج بناءً على المربعات الصغرى.

مقارنة بالتحقق المتبادل

يُعد التحقق المتقاطع بحذف عنصر واحد مكافئًا تقاربيًا لمعيار معلومات أكايكي (AIC) بالنسبة لنماذج الانحدار الخطي العادية. ^{[ 35 ]} وينطبق التكافؤ التقاربي مع معيار معلومات أكايكي (AIC) أيضًا على نماذج التأثيرات المختلطة . ^{[ 36 ]}

مقارنة مع كتاب مالوز سي _بي

ذكر أكايكي: "من المثير للاهتمام ملاحظة أن استخدام إحصائية اقترحها مالوز يعادل بشكل أساسي نهجنا الحالي". ^{[ 23 ]} ومع ذلك، فإن العلاقة الدقيقة بين AIC و C _p تتطلب بعض التوضيح.

في ظل نموذج الانحدار الطبيعي مع تباين خطأ غير معروف $\sigma ^{2}$ إحصائية AIC، كما ذُكر أعلاه، هي

{\mbox{AIC}}=n\ln({\mbox{RSS}}/n)+2k

(أتوقف عن استخدام ${\hat {\sigma }}^{2}$ (هذا لتجنب الالتباس أدناه). بالنسبة للعينات الكبيرة، إذا كان هذا النموذج صحيحًا، فإن ${\mbox{RSS}}/n$ ينبغي أن يكون قريبًا من تباين الخطأ الحقيقي $\sigma ^{2}$ وباستخدام متسلسلة تايلور ذات حد واحد للوغاريتم،

{\mbox{AIC}}\approx n\ln \sigma ^{2}+n\left({\frac {\mbox{RSS}}{n\sigma ^{2}}}-1\right)+2k=n\ln \sigma ^{2}-n+{\frac {\mbox{RSS}}{\sigma ^{2}}}+2k

1

هذا التعبير النهائي (مع إهمال الحدود التي تحتوي على n ) هو C _p لمالوز عندما $\sigma ^{2}$ من المصادفة أن يكون معروفًا. أما في الحالة الأكثر شيوعًا حيث يكون هذا غير معروف، فيتم تقديره. ${\hat {\sigma }}^{2}$ يجب استبدال ، والتي تُستمد عادةً من نموذج يستخدم جميع المتغيرات التنبؤية الممكنة. يؤدي هذا إلى تكافؤ تقاربي بين معيار معلومات أكايكي (AIC) ومعيار C _p . ومع ذلك، أشار أكايكي إلى أنه "لسوء الحظ، يتطلب اختيار بعض الأحكام الذاتية". ${\hat {\sigma }}^{2}$ في تعريف C _p'. ^{[ 5 ]}

في الحالة غير العادية التي $\sigma ^{2}$ إذا عُرف أن AIC يساوي ( 1 ) تمامًا، فإن ( 1 ) يُعتبر أحيانًا AIC، ويُزعم أن AIC و C _p متكافئان. ^{[ 37 ]} ينبغي اعتبار هذه الادعاءات غير صحيحة؛ فعندما يُطبَّق AIC بشكل صحيح، يكون التكافؤ تقاربيًا فقط.

معايير معلومات أخرى

تشمل معايير اختيار النموذج الأخرى معيار المعلومات واسع التطبيق (WAIC) ومعيار معلومات الانحراف (DIC) ، وكلاهما يُستخدم على نطاق واسع في اختيار النموذج باستخدام الإحصاء البايزي. يُعدّ معيار WAIC، على وجه الخصوص، مكافئًا تقريبًا للتحقق المتقاطع بحذف عنصر واحد، وينطبق حتى على النماذج المعقدة أو الشاذة. يوفر معيار هانان-كوين (HQC) حلاً وسطًا بين معيار أكايكي (AIC) ومعيار بايزي (BIC) من خلال تطبيق عقوبة أخف من BIC ولكنها أثقل من AIC. أما مبدأ الحد الأدنى لطول الوصف (MDL) ، المرتبط ارتباطًا وثيقًا بمعيار BIC، فيتناول اختيار النموذج من منظور نظرية المعلومات، ويتعامل معه كمشكلة ضغط. لكل من هذه الطرق مزاياها التي تعتمد على مدى تعقيد النموذج وحجم العينة وهدف التحليل.

انظر أيضاً

ملحوظات

↑ ستويكا، ب.؛ سيلين، ي. (2004)، "اختيار رتبة النموذج: مراجعة لقواعد معيار المعلومات"، مجلة معالجة الإشارات IEEE ، 21 (يوليو): 36-47 ، Bibcode : 2004ISPM...21...36S ، doi : 10.1109/MSP.2004.1311138 ، S2CID 17338979
↑ ماك إلريث، ريتشارد (2016). إعادة التفكير الإحصائي: دورة بايزية مع أمثلة في R وStan . مطبعة CRC. ص 189. ISBN 978-1-4822-5344-3. يوفر معيار معلومات أكايكي (AIC) تقديرًا بسيطًا بشكل مدهش لمتوسط الانحراف خارج العينة.
↑ تادي، مات (2019). علم بيانات الأعمال: الجمع بين التعلم الآلي والاقتصاد لتحسين وأتمتة وتسريع قرارات الأعمال . نيويورك: ماكجرو هيل. ص 90. ISBN 978-1-260-45277-8. يُعدّ معيار معلومات أكايكي (AIC) تقديرًا لانحراف خارج العينة.
↑ برنهام وأندرسون 2002 ، §2.2
1 2 3 أكايكي 1974
↑ برنهام وأندرسون 2002 ، §2.9.1، §6.4.5
↑ برنهام وأندرسون 2002
↑ برنهام وأندرسون 2002 ، §2.12.4
↑ مورتاغ 2014
↑ برنهام وأندرسون 2002 ، ص 99
↑ بانديوبادياي وفورستر 2011
^ ساكاموتو، إيشيجورو وكيتاجاوا 1986
↑ ماكواري وتساي 1998
^ كلايسكينز وهورت 2008 ، §8.3
↑ جيرو 2015 ، §2.9.1
^ سوجيورا (1978)
↑ هورفيتش وتساي (1989)
↑ كافانو 1997
↑ برنهام وأندرسون 2002 ، §2.4
↑ برنهام وأندرسون 2004
↑ برنهام وأندرسون 2002 ، §7.4
1 2 فيندلي وبارزن 1995
1 2 عكايكي 1973
↑ دي ليو 1992
↑ تاكيوتشي، كي (2020)، "حول مشكلة اختيار النموذج بناءً على البيانات"، في تاكيوتشي، كي (محرر)، مساهمات في نظرية الإحصاء الرياضي ، طوكيو: سبرينغر اليابان، ص 329-356 ، doi : 10.1007/978-4-431-55239-0_12 ، ISBN 978-4-431-55239-0
↑ برنهام وأندرسون 2002 ، ص 63
↑ ماتسودا، تاكيرو؛ أوهارا، ماساتوشي؛ هيفارينين، آبو (2021). "معايير المعلومات للنماذج غير المُعَيَّرة" . مجلة أبحاث تعلم الآلة . 22 (158): 1-33 . arXiv : 1905.05976 . ISSN 1533-7928 .
↑ دينغ، جي؛ تاروخ، وحيد؛ يانغ، يوهونغ (14 نوفمبر 2018). "تقنيات اختيار النموذج: نظرة عامة". مجلة معالجة الإشارات IEEE . 35 (6): 16-34 . arXiv : 1810.09583 . Bibcode : 2018ISPM...35f..16D . doi : 10.1109/MSP.2018.2867638 . S2CID 53035396 .
↑ دينغ، جي؛ تاروخ، وحيد؛ يانغ، يوهونغ (نوفمبر 2018). "تقنيات اختيار النموذج: نظرة عامة" . مجلة معالجة الإشارات IEEE . 35 (6): 16-34 . arXiv : 1810.09583 . Bibcode : 2018ISPM...35f..16D . doi : 10.1109/MSP.2018.2867638 . ISSN 1053-5888 . S2CID 53035396 .
↑ دينغ، ج.؛ تاروخ، ف.؛ يانغ، ي. (يونيو 2018). "الربط بين معيار معلومات أكايكي (AIC) ومعيار معلومات بايز (BIC): معيار جديد للانحدار الذاتي". معاملات IEEE في نظرية المعلومات . 64 (6): 4024-4043 . arXiv : 1508.02473 . Bibcode : 2018ITIT...64.4024D . doi : 10.1109/TIT.2017.2717599 . ISSN 1557-9654 . S2CID 5189440 .
1 2 برنهام وأندرسون 2002 ، §6.3-6.4
1 2 فريز 2012
1 2 أهو، ديريبري وبيترسون 2014
↑ برنهام وأندرسون 2002 ، ص 63
↑ ستون 1977
↑ فانغ 2011
↑ بويسبونون وآخرون 2014

مراجع

أهو، ك.؛ ديريبري، د.؛ بيترسون، ت. (2014)، "اختيار النموذج لعلماء البيئة: وجهات نظر معيار معلومات أكايكي (AIC) ومعيار معلومات بايز (BIC)"، علم البيئة ، 95 (3): 631-636 ، رمز Bibcode : 2014Ecol...95..631A ، doi : 10.1890/13-1452.1 ، PMID 24804445 .
Akaike، H. (1973)، “نظرية المعلومات وتمديد مبدأ الاحتمال الأقصى”، في Petrov، BN؛ Csáki, F. (eds.)، الندوة الدولية الثانية حول نظرية المعلومات، تساهكادسور، أرمينيا، اتحاد الجمهوريات الاشتراكية السوفياتية، 2-8 سبتمبر 1971 ، بودابست: Akadémiai Kiadó ، الصفحات من 267 إلى 281 أُعيد نشرها في: Kotz, S. ; Johnson, NL , eds. (1992), Breakthroughs in Statistics , vol. I, Springer-Verlag , pp. 610– 624 .
أكايكي، هـ. (1974)، "نظرة جديدة على تحديد النموذج الإحصائي"، معاملات IEEE في التحكم الآلي ، 19 (6): 716-723 ، Bibcode : 1974ITAC...19..716A ، doi : 10.1109/TAC.1974.1100705 ، MR 0423716 .
أكايكي، هـ. ( 1985)، "التنبؤ والإنتروبيا"، في أتكينسون، أ.س.؛ فينبرغ، س.إ. (محرران)، احتفال بالإحصاء ، سبرينغر، ص 1-24 .
بانديوبادياي، بي إس؛ فورستر، إم آر، محرران (2011)، فلسفة الإحصاء ، دار نشر نورث هولاند.
بويسبونون، أ.؛ كانو، س.؛ فوردرينييه، د.؛ سترودرمان، و.؛ ويلز، م. ت. (2014)، "معيار معلومات أكايكي، C _p ومُقدِّرات الخسارة للتوزيعات المتناظرة إهليلجيًا"، المجلة الإحصائية الدولية ، 82 (3): 422-439 ، doi : 10.1111/insr.12052 ، S2CID 119926327 .
برنهام، ك.ب.؛ أندرسون، د.ر. (2002)، اختيار النموذج والاستدلال متعدد النماذج: منهج عملي قائم على نظرية المعلومات ( الطبعة الثانية)، سبرينغر-فيرلاغ.
برنهام، ك.ب.؛ أندرسون، د.ر. (2004)، "الاستدلال متعدد النماذج: فهم معيار معلومات أكايكي (AIC) ومعيار معلومات بايز (BIC) في اختيار النموذج" (ملف PDF) ، الأساليب والبحوث الاجتماعية ، 33 : 261-304 ، doi : 10.1177/0049124104268644 ، S2CID 121861644 .
كافانو، جيه إي (1997)، "توحيد اشتقاقات معيار معلومات أكايكي ومعيار معلومات أكايكي المصحح"، رسائل الإحصاء والاحتمالات ، 31 (2): 201-208 ، doi : 10.1016/s0167-7152(96)00128-9.
كلايسكنز، ج .؛ هيورت، ن. ل. (2008)، اختيار النموذج ومتوسط النماذج ، مطبعة جامعة كامبريدج[ ملاحظة: إن تعريف AIC الذي وضعه Claeskens & Hjort هو عكس التعريف القياسي - كما قدمه Akaike في الأصل واتبعه مؤلفون آخرون.]
دي ليو، ج. (1992)، "مقدمة لنظرية المعلومات لأكايكي (1973) وتوسيع لمبدأ الاحتمال الأقصى" (ملف PDF) ، في كوتز، س.؛ جونسون ، ن. ل . (محرران)، اختراقات في الإحصاء 1 ، سبرينغر، ص 599-609 ، مؤرشف من الأصل (ملف PDF) بتاريخ 2016-01-08 ، تم استرجاعه بتاريخ 2014-11-27 .
فانغ، ييكسين (2011)، "التكافؤ التقاربي بين التحقق المتبادل ومعيار معلومات أكايكي في نماذج التأثيرات المختلطة" (ملف PDF) ، مجلة علوم البيانات ، 9 : 15-21 ، مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 4 مارس 2016 ، تم استرجاعه بتاريخ 16 أبريل 2011.
فيندلي، دي إف؛ بارزن، إي. (1995)، "محادثة مع هيروتوغو أكايكي"، العلوم الإحصائية ، 10 : 104-117 ، doi : 10.1214/ss/1177010133.
جيرو، سي. (2015)، مقدمة في الإحصاءات عالية الأبعاد ، مطبعة سي آر سي.
هورفيتش، سي إم؛ تساي، سي إل (1989)، "اختيار نموذج الانحدار والسلاسل الزمنية في العينات الصغيرة"، بيومتريكا ، 76 (2): 297-307 ، doi : 10.1093/biomet/76.2.297.
كونيشي، س.؛ كيتاغاوا، ج. (2008)، معايير المعلومات والنمذجة الإحصائية ، سبرينغر.
ماكواري، إيه دي آر؛ تساي، سي-إل. (1998)، اختيار نموذج الانحدار والسلاسل الزمنية ، وورلد ساينتيفيك.
مورتاغ، بنسلفانيا (2014)، "دفاعًا عن قيم P " ، علم البيئة ، 95 (3): 611-617 ، Bibcode : 2014Ecol...95..611M ، doi : 10.1890/13-0590.1 ، PMID 24804441 .
ساكاموتو، ي.؛ إيشيغورو، م.؛ كيتاغاوا، ج. (1986)، إحصاءات معيار معلومات أكايكي ، دار نشر دي. ريدل.
ستون، م. (1977)، "التكافؤ التقاربي لاختيار النموذج عن طريق التحقق المتبادل ومعيار أكايكي"، مجلة الجمعية الإحصائية الملكية، السلسلة ب ، 39 (1): 44-47 ، doi : 10.1111/j.2517-6161.1977.tb01603.x ، JSTOR 2984877 .
سوجيورا، ن. (1978)، "تحليل إضافي للبيانات باستخدام معيار معلومات أكايكي والتصحيحات المحدودة"، مجلة الاتصالات في الإحصاء - النظرية والأساليب ، 7 : 13-26 ، doi : 10.1080/03610927808827599.
تاكيوتشي، ك. (1976)، " " [ توزيع الإحصاءات المعلوماتية ومعيار ملاءمة النموذج ] ، سوري كاغاكو [ العلوم الرياضية ] (باللغة اليابانية)، 153 : 12-18 ، ISSN 0386-2240 .
فريز، إس آي (2012)، "اختيار النموذج والنظرية النفسية: مناقشة للاختلافات بين معيار معلومات أكايكي (AIC) ومعيار معلومات بايز (BIC)"، الأساليب النفسية ، 17 (2): 228-243 ، doi : 10.1037/a0027127 ، PMC 3366160 ، PMID 22309957 .
يانغ، واي. (2005)، "هل يمكن مشاركة نقاط قوة معيار معلومات أكايكي (AIC) ومعيار معلومات بايز (BIC)؟"، بيومتريكا ، 92 : 937-950 ، doi : 10.1093/biomet/92.4.937.

للمزيد من القراءة

أكايكي، هـ. (21 ديسمبر 1981)، "مرجع هذا الأسبوع الكلاسيكي" (ملف PDF) ، المحتويات الحالية للهندسة والتكنولوجيا والعلوم التطبيقية ، 12 (51): 42، مؤرشف من الأصل (ملف PDF) في 18 نوفمبر 2017 ، تم استرجاعه في 16 ديسمبر 2004[هيروتوجو أكايكي يعلق على كيفية وصوله إلى شركة AIC]
أندرسون، د. ر. (2008)، الاستدلال القائم على النماذج في علوم الحياة ، سبرينغر
أرنولد، تي دبليو (2010)، "المعلمات غير المُفيدة واختيار النموذج باستخدام معيار معلومات أكايكي"، مجلة إدارة الحياة البرية ، 74 (6): 1175-1178 ، رمز Bibcode : 2010JWMan..74.1175A ، doi : 10.1111/j.1937-2817.2010.tb01236.x
برنهام، ك.ب.؛ أندرسون، د.ر.؛ هويفيرت، ك.ب. (2011)، "اختيار نموذج AIC والاستدلال متعدد النماذج في علم البيئة السلوكي" (ملف PDF) ، علم البيئة السلوكي وعلم الأحياء الاجتماعي ، 65 : 23-35 ، doi : 10.1007/s00265-010-1029-6 ، S2CID 3354490 ، مؤرشف من النسخة الأصلية (PDF) بتاريخ 9 أغسطس 2017 ، تم استرجاعه بتاريخ 4 مايو 2018
كافانو، جيه إي؛ نيث، إيه إيه (2019)، "معيار معلومات أكايكي"، إحصاءات WIREs الحاسوبية ، 11 (3) e1460، doi : 10.1002/wics.1460 ، S2CID 88491599
إنج، سي.-كيه.؛ وي، سي.-زد. (2005)، "اختيار الترتيب للتنبؤات ذات التحقق المتماثل في العمليات الانحدارية الذاتية"، حوليات الإحصاء ، 33 (5): 2423-2474 ، arXiv : math/0602326 ، doi : 10.1214/009053605000000525
كو، ف.؛ هيورت، ن. ل. (2019)، "معيار معلومات الاقتران لاختيار النموذج مع تقدير الاحتمال الأقصى على مرحلتين" ، الاقتصاد القياسي والإحصاء ، 12 : 167-180 ، doi : 10.1016/j.ecosta.2019.01.001 ، hdl : 10852/74878 ، S2CID 126873625
لارسكي، س. (2012)، مشكلة اختيار النموذج والواقعية العلمية (ملف PDF) (أطروحة)، كلية لندن للاقتصاد
بان، و. (2001)، "معيار معلومات أكايكي في معادلات التقدير المعممة"، القياسات الحيوية ، 57 (1): 120-125 ، doi : 10.1111/j.0006-341X.2001.00120.x ، PMID 11252586 ، S2CID 7862441
بارزن، إي .؛ تانابي، ك.؛ كيتاغاوا، ج.، محرران (1998)، أوراق مختارة لهيروتوغو أكايكي ، سلسلة سبرينغر في الإحصاء، سبرينغر، doi : 10.1007/978-1-4612-1694-0 ، ISBN 978-1-4612-7248-9
سيفكين، ب.؛ نيب، ت.؛ فان وافيرين، س.-س.؛ غريفن، س. (2014)، "نهج موحد لتقدير معلومات أكايكي الشرطية في النماذج الخطية المختلطة المعممة"، المجلة الإلكترونية للإحصاء ، 8 : 201-225 ، doi : 10.1214/14-EJS881

[1] ستويكا، ب.؛ سيلين، ي. (2004)، "اختيار رتبة النموذج: مراجعة لقواعد معيار المعلومات"، مجلة معالجة الإشارات IEEE ، 21 (يوليو): 36-47 ، Bibcode : 2004ISPM...21...36S ، doi : 10.1109/MSP.2004.1311138 ، S2CID 17338979

[2] ماك إلريث، ريتشارد (2016). إعادة التفكير الإحصائي: دورة بايزية مع أمثلة في R وStan . مطبعة CRC. ص 189. ISBN 978-1-4822-5344-3. يوفر معيار معلومات أكايكي (AIC) تقديرًا بسيطًا بشكل مدهش لمتوسط الانحراف خارج العينة.

[3] تادي، مات (2019). علم بيانات الأعمال: الجمع بين التعلم الآلي والاقتصاد لتحسين وأتمتة وتسريع قرارات الأعمال . نيويورك: ماكجرو هيل. ص 90. ISBN 978-1-260-45277-8. يُعدّ معيار معلومات أكايكي (AIC) تقديرًا لانحراف خارج العينة.

[4] برنهام وأندرسون 2002 ، §2.2

[Akaiki1974-5] 1 2 3 أكايكي 1974

[6] برنهام وأندرسون 2002 ، §2.9.1، §6.4.5

[Burnham_2002-7] برنهام وأندرسون 2002

[8] برنهام وأندرسون 2002 ، §2.12.4

[9] مورتاغ 2014

[10] برنهام وأندرسون 2002 ، ص 99

[11] بانديوبادياي وفورستر 2011

[12] ساكاموتو، إيشيجورو وكيتاجاوا 1986

[13] ماكواري وتساي 1998

[14] كلايسكينز وهورت 2008 ، §8.3

[15] جيرو 2015 ، §2.9.1

[16] سوجيورا (1978)

[17] هورفيتش وتساي (1989)

[Cavanaugh-18] كافانو 1997

[19] برنهام وأندرسون 2002 ، §2.4

[20] برنهام وأندرسون 2004

[21] برنهام وأندرسون 2002 ، §7.4

[FP95-22] 1 2 فيندلي وبارزن 1995

[Akaike1973-23] 1 2 عكايكي 1973

[24] دي ليو 1992

[25] تاكيوتشي، كي (2020)، "حول مشكلة اختيار النموذج بناءً على البيانات"، في تاكيوتشي، كي (محرر)، مساهمات في نظرية الإحصاء الرياضي ، طوكيو: سبرينغر اليابان، ص 329-356 ، doi : 10.1007/978-4-431-55239-0_12 ، ISBN 978-4-431-55239-0

[26] برنهام وأندرسون 2002 ، ص 63

[27] ماتسودا، تاكيرو؛ أوهارا، ماساتوشي؛ هيفارينين، آبو (2021). "معايير المعلومات للنماذج غير المُعَيَّرة" . مجلة أبحاث تعلم الآلة . 22 (158): 1-33 . arXiv : 1905.05976 . ISSN 1533-7928 .

[IEEE_Xplore_2018-28] دينغ، جي؛ تاروخ، وحيد؛ يانغ، يوهونغ (14 نوفمبر 2018). "تقنيات اختيار النموذج: نظرة عامة". مجلة معالجة الإشارات IEEE . 35 (6): 16-34 . arXiv : 1810.09583 . Bibcode : 2018ISPM...35f..16D . doi : 10.1109/MSP.2018.2867638 . S2CID 53035396 .

[29] دينغ، جي؛ تاروخ، وحيد؛ يانغ، يوهونغ (نوفمبر 2018). "تقنيات اختيار النموذج: نظرة عامة" . مجلة معالجة الإشارات IEEE . 35 (6): 16-34 . arXiv : 1810.09583 . Bibcode : 2018ISPM...35f..16D . doi : 10.1109/MSP.2018.2867638 . ISSN 1053-5888 . S2CID 53035396 .

[:0-30] دينغ، ج.؛ تاروخ، ف.؛ يانغ، ي. (يونيو 2018). "الربط بين معيار معلومات أكايكي (AIC) ومعيار معلومات بايز (BIC): معيار جديد للانحدار الذاتي". معاملات IEEE في نظرية المعلومات . 64 (6): 4024-4043 . arXiv : 1508.02473 . Bibcode : 2018ITIT...64.4024D . doi : 10.1109/TIT.2017.2717599 . ISSN 1557-9654 . S2CID 5189440 .

[BA6364-31] 1 2 برنهام وأندرسون 2002 ، §6.3-6.4

[Vrieze-32] 1 2 فريز 2012

[Ahoetal-33] 1 2 أهو، ديريبري وبيترسون 2014

[34] برنهام وأندرسون 2002 ، ص 63

[35] ستون 1977

[36] فانغ 2011

[37] بويسبونون وآخرون 2014

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[

[ 27 ]

[ 28 ]

[ 29 ]

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[ 35 ]

[ 36 ]

[ 37 ]

اللغة	العربية (RTL)
روابط موسوعية	30 رابطاً
المصدر الأصلي	ويكيبيديا ↗