معيار معلومات الانحراف

معيار معلومات الانحراف ( DIC ) هو تعميم هرمي لمعيار معلومات أكايكي (AIC) في النمذجة . وهو مفيد بشكل خاص في مسائل اختيار النموذج البايزي، حيث يتم الحصول على التوزيعات الاحتمالية اللاحقة للنماذج عن طريق محاكاة سلسلة ماركوف مونت كارلو (MCMC). يُعدّ DIC تقريبًا تقاربيًا مع ازدياد حجم العينة، تمامًا مثل AIC. وهو صالح فقط عندما يكون التوزيع الاحتمالي اللاحق قريبًا من التوزيع الطبيعي متعدد المتغيرات .

عرّف الانحراف على النحو التالي:${\displaystyle D(\theta )=-2\log(p(y|\theta ))+C\,}$، أين${\displaystyle y}$هذه هي البيانات،${\displaystyle \theta }$هي المعلمات المجهولة للنموذج و${\displaystyle p(y|\theta )}$هي دالة الاحتمالية .${\displaystyle C}$هو ثابت يتم إلغاؤه في جميع الحسابات التي تقارن بين النماذج المختلفة، وبالتالي لا يلزم معرفته.

هناك طريقتان شائعتان لحساب العدد الفعال لمعاملات النموذج. الأولى، كما ورد في Spiegelhalter et al. (2002 ، ص 587) ، هي ${\displaystyle p_{D}={\overline {D(\theta )}}-D({\bar {\theta }})}$، أين${\displaystyle {\bar {\theta }}}$هو توقع${\displaystyle \theta }$أما الثاني، كما هو موضح في جيلمان وآخرون (2004 ، ص 182) ، فهو ${\displaystyle p_{D}=p_{V}={\frac {1}{2}}{\overline {\operatorname {var} \left(D(\theta )\right)}}}$كلما زاد العدد الفعال للمعلمات، كلما كان من الأسهل على النموذج أن يتناسب مع البيانات، وبالتالي يجب معاقبة الانحراف.

يتم حساب معيار معلومات الانحراف على النحو التالي

${\displaystyle \mathrm {DIC} =p_{D}+{\overline {D(\theta )}},}$

أو ما يعادل ذلك

${\displaystyle \mathrm {DIC} =D({\bar {\theta }})+2p_{D}.}$

من هذا الشكل الأخير، يصبح الارتباط بـ AIC أكثر وضوحًا.

الفكرة هي أنه ينبغي تفضيل النماذج ذات قيمة DIC الأصغر على النماذج ذات قيمة DIC الأكبر. وتُعاقب النماذج بناءً على قيمة${\displaystyle {\bar {D}}}$وهذا ما يُفضّل التوافق الجيد، ولكن أيضًا (على غرار معيار معلومات أكايكي) من خلال العدد الفعال للمعلمات${\displaystyle p_{D}}$. منذ${\displaystyle {\bar {D}}}$سينخفض ​​هذا الرقم مع ازدياد عدد المعاملات في النموذج،${\displaystyle p_{D}}$يعوض هذا المصطلح عن هذا التأثير من خلال تفضيل النماذج ذات العدد الأقل من المعلمات.

تتمثل إحدى مزايا معيار DIC مقارنةً بالمعايير الأخرى في حالة اختيار النموذج البايزي في سهولة حسابه من العينات المُولَّدة بواسطة محاكاة مونت كارلو لسلسلة ماركوف. أما معيار AIC فيتطلب حساب الاحتمالية عند أقصى قيمة لها.${\displaystyle \theta }$وهو أمر غير متاح بسهولة من محاكاة MCMC. ولكن لحساب DIC، ما عليك سوى حساب${\displaystyle {\bar {D}}}$كمتوسط ​​لـ${\displaystyle D(\theta )}$على عينات من${\displaystyle \theta }$، و${\displaystyle D({\bar {\theta }})}$كقيمة${\displaystyle D}$تم تقييمها عند متوسط ​​عينات${\displaystyle \theta }$ثمّ يُستنتج معيار معلومات ديسكوفر (DIC) مباشرةً من هذه التقريبات. يُبيّن كلايسكنز وهجورت (2008، الفصل 3.5) أن معيار معلومات ديسكوفر (DIC) يُكافئ في العينات الكبيرة النسخة الطبيعية القوية للنموذج من معيار معلومات أكايكي (AIC).

في اشتقاق معيار معلومات ديفي (DIC)، يُفترض أن عائلة التوزيعات الاحتمالية البارامترية المحددة التي تولد المشاهدات المستقبلية تشمل النموذج الحقيقي. هذا الافتراض لا يصح دائمًا، ومن المستحسن مراعاة إجراءات تقييم النموذج في هذه الحالة.

كما تُستخدم البيانات المرصودة في بناء التوزيع الاحتمالي اللاحق وتقييم النماذج المقدرة. ولذلك، يميل معيار DIC إلى اختيار نماذج مُفرطة التخصيص .

اقترح أندو (2007) حلاً للمشاكل المذكورة أعلاه ، وذلك من خلال اقتراح معيار المعلومات التنبؤية البايزي (BPIC). وقدّم أندو (2010، الفصل 8) مناقشة لمعايير اختيار النموذج البايزي المختلفة. ولتجنب مشاكل التوفيق الزائد في معيار المعلومات التفاضلي (DIC)، طوّر أندو (2011) معايير اختيار النموذج البايزي من منظور تنبؤي. ويُحسب هذا المعيار على النحو التالي:

${\displaystyle {\mathit {IC}}={\bar {D}}+2p_{D}=-2\mathbf {E} ^{\theta }[\log(p(y|\theta ))]+2p_{D}.}$

يمثل الحد الأول مقياسًا لمدى ملاءمة النموذج للبيانات، بينما يمثل الحد الثاني عقوبة على تعقيد النموذج. لاحظ أن p في هذه الصيغة هو التوزيع التنبؤي وليس الاحتمال المذكور أعلاه.

استُخدم معيار معلومات دالة (DIC) في العديد من مكتبات S-Plus (ولاحقًا في R ) لنمذجة النماذج القائمة على الاحتمالية في تسعينيات القرن الماضي (متفوقًا على الطرق البايزية، في حدود التداخل بينهما)؛ ويُقدَّم عادةً كتعميم لمعيار معلومات أكايكي (AIC). وقد عرّف هاستي وتيبشيراني (1990، ص 160، المعادلة 6.32) معيار DIC ^{[ 1 ]} للمُنعِّمات الموزونة المستخدمة في النماذج الجمعية المعممة، وتم دمج حسابات الانحراف ودرجات الحرية الفعالة اللازمة في مكتبة GAM (هاستي، 1991). ^{[ 2 ]}

يُنسب الفضل في طريقة aic في S-Plus و R (في البداية) إلى Pinheiro و Bates، وقد تم تطويرها بالاشتراك مع برنامج nlme، ^{[ 3 ]} وتم نقلها لاحقًا إلى مكتبات أخرى (بعضها ببساطة AIC؛ والبعض الآخر يتطلب تقريبات على غرار DIC).

في سياق الاحتمالية المحلية ، يُعرَّف معيار معلومات الانحراف (Loader (1999، ص 69، تعريف 4.4))، ^{[ 4 ]} باشتقاق قائم على التحقق المتقاطع بتقنية "حذف عنصر واحد" (Jackknifed cross-validation)، مع حسابات درجات الحرية الفعالة بشكل صريح بدلالة مشتقات الاحتمالية. ويؤدي هذا إلى بعض الاختلافات التقنية الطفيفة مقارنةً بنهج هاستي وتيبشيراني.

يُقدّم إيريزاري (2001) ^{[ 5 ]} أيضًا تطويرًا مُفصّلًا لمعايير المعلومات الخاصة بالاحتمالية المحلية. وخلافًا للتقنيات الشاملة في المصادر المذكورة أعلاه، تُطبّق المعايير التي طوّرها إيريزاري عند التقدير عند نقطة واحدة في فضاء المُتنبئات، وبالتالي فهي قابلة للتطبيق على المُنعّمات التكيفية المحلية التي تناولها باحثون آخرون.

• معيار معلومات أكايكي (AIC)
• معيار المعلومات البايزي (BIC)
• معيار المعلومات المركزة (FIC)
• معيار هانان-كوين للمعلومات
• تباعد كولباك-لايبير
• تباعد جنسن-شانون
• معيار معلومات واتانابي-أكايكي (WAIC)

• ماك إلريث، ريتشارد (29 يناير 2015). "إعادة التفكير الإحصائي - المحاضرة 8 (حول معيار المعلومات الموزعة ومعايير المعلومات الأخرى)" . مؤرشف من الأصل بتاريخ 21 ديسمبر 2021 - عبر يوتيوب .