اقتران سابق

في نظرية الاحتمالات البايزية ، إذا كان التوزيع اللاحق ، مع إعطاء دالة احتمالية ، في نفس عائلة توزيع الاحتمالات مثل توزيع الاحتمالية السابق ، فإن التوزيعين السابق واللاحق يُطلق عليهما توزيعات مترافقة فيما يتعلق بدالة الاحتمالية هذه ويُسمى السابق بالتوزيع المترافق لدالة الاحتمالية .

إن المقدمات المترافقة هي ملاءمة جبرية، تعطي تعبيرًا مغلق الشكل لللاحق؛ وإلا، فقد يكون التكامل العددي ضروريًا. علاوة على ذلك، قد تقدم المقدمات المترافقة حدسًا من خلال إظهار كيفية تحديث دالة الاحتمالية لتوزيع مسبق بشكل أكثر شفافية.

تم تقديم هذا المفهوم، بالإضافة إلى مصطلح "الاقتران المسبق"، بواسطة هوارد رايفا وروبرت شلايفر في عملهما على نظرية القرار البايزية . [1] تم اكتشاف مفهوم مماثل بشكل مستقل بواسطة جورج ألفريد برنارد . [2]

مثال

يمكن تحديد شكل المقترن المسبق بشكل عام من خلال فحص كثافة الاحتمال أو دالة كتلة الاحتمال لتوزيع ما. على سبيل المثال، ضع في اعتبارك متغيرًا عشوائيًا يتكون من عدد النجاحات في تجارب برنولي باحتمال نجاح غير معروف في [0,1]. سيتبع هذا المتغير العشوائي التوزيع الثنائي ، مع دالة كتلة احتمالية من الشكل

المتغير المترافق المعتاد هو توزيع بيتا مع المعلمات ( ، ):

حيث تم اختيار و لتعكس أي اعتقاد أو معلومات موجودة ( وسوف تعطي توزيعًا موحدًا ) و هي دالة بيتا التي تعمل كثابت تطبيع .

في هذا السياق، تُسمى و بمعلمات فائقة (معلمات المسبق)، لتمييزها عن معلمات النموذج الأساسي (هنا ). من الخصائص النموذجية للمسبقات المترافقة أن أبعاد المعلمات الفائقة أكبر بمقدار واحد من أبعاد معلمات التوزيع الأصلي. إذا كانت جميع المعلمات قيمًا قياسية، فسيكون هناك معلمة فائقة أكثر من المعلمة؛ ولكن هذا ينطبق أيضًا على المعلمات ذات القيمة المتجهة والقيمة المصفوفية. (انظر المقال العام حول العائلة الأسية ، وفكر أيضًا في توزيع Wishart ، والمسبقة المترافقة لمصفوفة التباين لتوزيع طبيعي متعدد المتغيرات ، للحصول على مثال حيث تكون الأبعاد كبيرة.)

إذا أخذنا عينة من هذا المتغير العشوائي وحصلنا على نجاحات وإخفاقات ، فسنحصل على

وهو توزيع بيتا آخر بمعلمات . ويمكن بعد ذلك استخدام هذا التوزيع اللاحق كتوزيع أولي لمزيد من العينات، مع إضافة المعلمات الفائقة ببساطة لكل قطعة إضافية من المعلومات فور وصولها.

تفسيرات

ملاحظات زائفة

غالبًا ما يكون من المفيد التفكير في المعلمات الفائقة لتوزيع مسبق مترافق تتوافق مع ملاحظة عدد معين من الملاحظات الزائفة ذات الخصائص المحددة بواسطة المعلمات. على سبيل المثال، يمكن اعتبار قيم و لتوزيع بيتا متوافقة مع النجاحات والإخفاقات إذا تم استخدام الوضع اللاحق لاختيار إعداد المعلمة الأمثل، أو النجاحات والإخفاقات إذا تم استخدام المتوسط ​​اللاحق لاختيار إعداد المعلمة الأمثل. بشكل عام، بالنسبة لجميع التوزيعات المسبقة المترافقة تقريبًا، يمكن تفسير المعلمات الفائقة من حيث الملاحظات الزائفة. يمكن أن يساعد هذا في توفير الحدس وراء معادلات التحديث الفوضوية غالبًا والمساعدة في اختيار معلمات فائقة معقولة للأولوية.

نظام ديناميكي

يمكن للمرء أن يفكر في التكييف على المسبقات المترافقة على أنه تعريف لنوع من النظام الديناميكي (الزمن المنفصل) : من مجموعة معينة من المعلمات الفائقة، تقوم البيانات الواردة بتحديث هذه المعلمات الفائقة، لذلك يمكن للمرء أن يرى التغيير في المعلمات الفائقة كنوع من "تطور الوقت" للنظام، وهو ما يتوافق مع "التعلم". يؤدي البدء من نقاط مختلفة إلى تدفقات مختلفة بمرور الوقت. هذا مشابه مرة أخرى للنظام الديناميكي الذي يحدده عامل خطي، ولكن لاحظ أنه نظرًا لأن العينات المختلفة تؤدي إلى استنتاجات مختلفة، فإن هذا لا يعتمد ببساطة على الوقت بل على البيانات بمرور الوقت. للطرق ذات الصلة، انظر تقدير بايز المتكرر واستيعاب البيانات .

مثال عملي

لنفترض أن هناك خدمة لتأجير السيارات تعمل في مدينتك. يمكن للسائقين تسليم واستلام السيارات في أي مكان داخل حدود المدينة. يمكنك العثور على السيارات واستئجارها باستخدام تطبيق.

افترض أنك ترغب في إيجاد احتمالية أن تتمكن من العثور على سيارة مستأجرة على مسافة قصيرة من عنوان منزلك في أي وقت من اليوم.

على مدار ثلاثة أيام، يمكنك إلقاء نظرة على التطبيق والعثور على العدد التالي من السيارات على مسافة قصيرة من عنوان منزلك:

لنفترض أن البيانات تأتي من توزيع بواسون . في هذه الحالة، يمكننا حساب تقدير أقصى احتمالية لمعلمات النموذج، وهو باستخدام تقدير أقصى احتمالية، يمكننا حساب احتمالية توفر سيارة واحدة على الأقل في يوم معين:

هذا هو توزيع بواسون الذي من المرجح أن يكون قد أنتج البيانات المرصودة . ولكن من الممكن أيضًا أن تكون البيانات قد أتت من توزيع بواسون آخر، على سبيل المثال، توزيع به أو ، وما إلى ذلك. في الواقع، يوجد عدد لا نهائي من توزيعات بواسون التي من الممكن أن تكون قد أنتج البيانات المرصودة. مع وجود عدد قليل نسبيًا من نقاط البيانات، يجب أن نكون غير متأكدين تمامًا من توزيع بواسون الدقيق الذي أنتج هذه البيانات. بديهيًا، يجب علينا بدلاً من ذلك أن نأخذ متوسطًا مرجحًا لاحتمالية لكل من توزيعات بواسون تلك، مرجحًا بمدى احتمالية كل منها، بالنظر إلى البيانات التي لاحظناها .

بشكل عام، تُعرف هذه الكمية باسم التوزيع التنبئي الخلفي حيث ψ هي نقطة بيانات جديدة، ψ هي البيانات المرصودة وψ هي معلمات النموذج. باستخدام نظرية بايز، يمكننا التوسع وبالتالي ، بشكل عام، يصعب حساب هذا التكامل. ومع ذلك، إذا اخترت توزيعًا مسبقًا مترافقًا ، فيمكن اشتقاق تعبير مغلق الشكل. هذا هو عمود التنبؤ الخلفي في الجداول أدناه.

بالعودة إلى مثالنا، إذا اخترنا توزيع جاما كتوزيعنا المسبق على معدل توزيعات بواسون، فإن التنبؤ اللاحق هو التوزيع الثنائي السلبي ، كما يمكن رؤيته من الجدول أدناه. يتم تحديد معلمات توزيع جاما بواسطة معاملين فائقين ، يتعين علينا اختيارهما. من خلال النظر إلى مخططات توزيع جاما، نختار ، والذي يبدو أنه أولوية معقولة لعدد السيارات المتوسط. اختيار المعاملات الفائقة السابقة هو أمر ذاتي بطبيعته ويعتمد على المعرفة المسبقة.

بالنظر إلى المعلمات الفائقة السابقة ، يمكننا حساب المعلمات الفائقة اللاحقة و

بالنظر إلى المعلمات الفائقة الخلفية، يمكننا أخيرًا حساب التنبؤ الخلفي لـ

يعكس هذا التقدير الأكثر تحفظًا عدم اليقين في معلمات النموذج، والتي يأخذها التنبؤ اللاحق في الاعتبار.

جدول التوزيعات المترافقة

دع n يمثل عدد الملاحظات. في جميع الحالات أدناه، يُفترض أن البيانات تتكون من n نقطة (ستكون متجهات عشوائية في الحالات المتعددة المتغيرات).

إذا كانت دالة الاحتمالية تنتمي إلى العائلة الأسيّة ، فإن هناك مسبقًا مترافقًا، وغالبًا ما يكون أيضًا في العائلة الأسيّة؛ راجع العائلة الأسيّة: التوزيعات المترافقة .

عندما تكون دالة الاحتمالية عبارة عن توزيع منفصل

احتمالية
معلمات النموذج
التوزيع السابق (واللاحق) المترافق
المعلمات الفائقة السابقة
المعلمات الفائقة الخلفية [ملاحظة 1]
تفسير المعلمات الفائقة التنبؤ الخلفي [ملاحظة 2]
برنولي ص (احتمالية) بيتا النجاحات والإخفاقات [ملاحظة 3]
( برنولي )
ثنائي الحدين
مع عدد معروف من المحاولات، م
ص (احتمالية) بيتا النجاحات والإخفاقات [ملاحظة 3]
( بيتا ثنائي الحد )
ثنائي سلبي
مع رقم فشل معروف، r
ص (احتمالية) بيتا إجمالي النجاحات والإخفاقات [ملاحظة 3] (أي التجارب، على افتراض ثباتها)

(ثنائية بيتا سلبية)

سمكة λ (معدل) جاما مجموع التكرارات في الفواصل الزمنية
( ثنائي سلبي )
[ملاحظة 4] مجموع التكرارات في الفواصل الزمنية
( ثنائي سلبي )
تصنيفي p (متجه الاحتمالات)، k (عدد الفئات؛ أي حجم p ) ديريتشليت أين عدد الملاحظات في الفئة الأولى؟ حدوثات الفئة [ملاحظة 3]
( فئوي )
متعدد الحدود p (متجه الاحتمالات)، k (عدد الفئات؛ أي حجم p ) ديريتشليت حدوثات الفئة [ملاحظة 3]
( ديريخليت-متعدد الحدود )
هندسية للغاية
مع حجم إجمالي معروف للسكان، ن
م (عدد الأعضاء المستهدفين) بيتا ثنائي الحد [3] النجاحات والإخفاقات [ملاحظة 3]
هندسي ص 0 (احتمالية) بيتا التجارب، الفشل التام [ملاحظة 3]

عندما تكون دالة الاحتمالية توزيعًا مستمرًا

احتمالية
معلمات النموذج
التوزيع السابق (واللاحق) المترافق المعلمات الفائقة السابقة
المعلمات الفائقة الخلفية [ملاحظة 1]
تفسير المعلمات الفائقة التنبؤ الخلفي [ملاحظة 5]
طبيعي
مع تباين معروف σ 2
μ (المتوسط) طبيعي تم تقدير المتوسط ​​من الملاحظات بدقة إجمالية (مجموع كل الدقة الفردية) ومتوسط ​​العينة [4]
طبيعي
مع دقة معروفة τ
μ (المتوسط) طبيعي تم تقدير المتوسط ​​من الملاحظات بدقة إجمالية (مجموع كل الدقة الفردية) ومتوسط ​​العينة [4]
طبيعي
مع متوسط ​​معروف μ
σ2 (التباين ) جاما العكسية [ملاحظة 6] تم تقدير التباين من الملاحظات باستخدام تباين العينة (أي بمجموع الانحرافات التربيعية ، حيث تكون الانحرافات عن المتوسط ​​المعروف ) [4]
طبيعي
مع متوسط ​​معروف μ
σ2 (التباين ) مربع كاي المعكوس المدرج تم تقدير التباين من الملاحظات باستخدام تباين العينة [4]
طبيعي
مع متوسط ​​معروف μ
τ (الدقة) جاما [ملاحظة 4] تم تقدير الدقة من الملاحظات مع تباين العينة (أي بمجموع الانحرافات التربيعية ، حيث تكون الانحرافات عن المتوسط ​​المعروف ) [4]
عادي [ملاحظة 7] μ و σ 2
بافتراض قابلية التبادل
جاما العكسية العادية
  • هو متوسط ​​العينة
تم تقدير المتوسط ​​من الملاحظات باستخدام متوسط ​​العينة ؛ وتم تقدير التباين من الملاحظات باستخدام متوسط ​​العينة ومجموع الانحرافات التربيعية [4]
طبيعي μ و τ
بافتراض قابلية التبادل
جاما عادي
  • هو متوسط ​​العينة
تم تقدير المتوسط ​​من الملاحظات باستخدام متوسط ​​العينة ، وتم تقدير الدقة من الملاحظات باستخدام متوسط ​​العينة ومجموع الانحرافات التربيعية [4]
متعدد المتغيرات طبيعي مع مصفوفة تباين معروفة Σ μ (المتجه المتوسط) متعدد المتغيرات طبيعي
  • هو متوسط ​​العينة
تم تقدير المتوسط ​​من الملاحظات بدقة إجمالية (مجموع كل الدقة الفردية) ومتوسط ​​العينة [4]
مصفوفة متعددة المتغيرات طبيعية ذات دقة معروفة Λ μ (المتجه المتوسط) متعدد المتغيرات طبيعي
  • هو متوسط ​​العينة
تم تقدير المتوسط ​​من الملاحظات بدقة إجمالية (مجموع كل الدقة الفردية) ومتوسط ​​العينة [4]
متعدد المتغيرات طبيعي مع متوسط ​​معروف μ Σ (مصفوفة التغاير) عكس-ويشارت تم تقدير مصفوفة التباين من الملاحظات بمجموع حاصل ضرب الانحراف الزوجي [4]
متعدد المتغيرات طبيعي مع متوسط ​​معروف μ Λ (مصفوفة الدقة) ويشارت تم تقدير مصفوفة التباين من الملاحظات بمجموع حاصل ضرب الانحراف الزوجي [4]
متعدد المتغيرات طبيعي μ (المتجه المتوسط) و Σ (مصفوفة التغاير) الوضع الطبيعي-العكسي-التمنيات
  • هو متوسط ​​العينة
تم تقدير المتوسط ​​من الملاحظات باستخدام متوسط ​​العينة ؛ وتم تقدير مصفوفة التباين من الملاحظات باستخدام متوسط ​​العينة ومجموع حاصل ضرب الانحراف الزوجي [4]
متعدد المتغيرات طبيعي μ (المتجه المتوسط) و Λ (مصفوفة الدقة) عادي-ويشارت
  • هو متوسط ​​العينة
تم تقدير المتوسط ​​من الملاحظات باستخدام متوسط ​​العينة ؛ وتم تقدير مصفوفة التباين من الملاحظات باستخدام متوسط ​​العينة ومجموع حاصل ضرب الانحراف الزوجي [4]
زي مُوحد باريتو ملاحظات ذات قيمة قصوى
باريتو
مع الحد الأدنى المعروف لـ x m
ك (شكل) جاما ملاحظات بمجموع ترتيب حجم كل ملاحظة (أي لوغاريتم نسبة كل ملاحظة إلى الحد الأدنى )
ويبل
ذو الشكل المعروف β
θ (المقياس) جاما العكسية [3] ملاحظات بمجموع القوة β' لكل ملاحظة
لوغاريتمي طبيعي نفس الأمر بالنسبة للتوزيع الطبيعي بعد تطبيق اللوغاريتم الطبيعي على البيانات الخاصة بالمعلمات الفائقة اللاحقة. يرجى الرجوع إلى Fink (1997، ص 21-22) للاطلاع على التفاصيل.
أسي λ (معدل) جاما [ملاحظة 4] الملاحظات التي تصل إلى [5]
( توزيع لومكس )
جاما
ذات الشكل المعروف α
β (معدل) جاما ملاحظات مع المجموع [ملاحظة 8]
جاما العكسية
ذات الشكل المعروف α
β (المقياس العكسي) جاما ملاحظات مع المجموع
جاما
بمعدل معروف β
ألفا (الشكل) أو ملاحظات ( للتقدير ، للتقدير ) مع المنتج
جاما [3] α (الشكل)، β (المقياس العكسي) تم تقديره من الملاحظات مع المنتج ؛ تم تقديره من الملاحظات مع المجموع
بيتا ألفا ، بيتا وتم تقديرها من الملاحظات باستخدام حاصل ضرب ومحصل المكملات

انظر أيضا

ملحوظات

  1. ^ ab يتم الإشارة إليه بنفس الرموز مثل المعلمات الفائقة السابقة مع إضافة الأعداد الأولية ('). على سبيل المثال، يتم الإشارة إلى
  2. ^ هذا هو التوزيع التنبؤي الخلفي لنقطة بيانات جديدة مع الأخذ في الاعتبار نقاط البيانات المرصودة، مع تهميش المعلمات . تشير المتغيرات ذات الأعداد الأولية إلى القيم الخلفية للمعلمات.
  3. ^ abcdefg يعتمد التفسير الدقيق لمعلمات توزيع بيتا من حيث عدد النجاحات والإخفاقات على الدالة المستخدمة لاستخراج تقدير نقطي من التوزيع. متوسط ​​توزيع بيتا هو الذي يتوافق مع النجاحات والإخفاقات ، في حين أن المنوال هو الذي يتوافق مع النجاحات والإخفاقات . يفضل البايزيون عمومًا استخدام المتوسط ​​اللاحق بدلاً من المنوال اللاحق كتقدير نقطي، مبررًا بدالة الخسارة التربيعية، واستخدام و أكثر ملاءمة رياضيًا، في حين أن استخدام و له ميزة أن الأولوية الموحدة تتوافق مع 0 نجاحات و 0 إخفاقات. تنطبق نفس القضايا على توزيع دي ريتشليت .
  4. ^ abc β هو معدل أو مقياس عكسي. في معلمة توزيع جاما ، θ = 1/ β و k = α .
  5. ^ هذا هو التوزيع التنبؤي الخلفي لنقطة بيانات جديدة مع الأخذ في الاعتبار نقاط البيانات المرصودة، مع تهميش المعلمات . تشير المتغيرات ذات الأعداد الأولية إلى القيم الخلفية للمعلمات. وتشير إلى التوزيع الطبيعي وتوزيع t لـ Student ، على التوالي، أو إلى التوزيع الطبيعي المتعدد المتغيرات وتوزيع t المتعدد المتغيرات في الحالات المتعددة المتغيرات.
  6. ^ من حيث جاما العكسية ، هي معلمة مقياس
  7. ^ تم العثور على سابقة مترافقة مختلفة لمتوسط ​​وتباين غير معروفين، ولكن مع وجود علاقة خطية ثابتة بينهما، في خليط التباين-المتوسط ​​الطبيعي ، مع التوزيع العكسي الغاوسي المعمم كتوزيع خلط مترافق.
  8. ^ هو توزيع جاما مركب ؛ وهنا توزيع بيتا أولي معمم .

مراجع

  1. ^ هوارد رايفا وروبرت شلايفر . نظرية القرار الإحصائي التطبيقية . قسم الأبحاث، كلية الدراسات العليا لإدارة الأعمال، جامعة هارفارد، 1961.
  2. ^ جيف ميلر وآخرون. أقدم الاستخدامات المعروفة لبعض كلمات الرياضيات، "التوزيعات المسبقة المترافقة". وثيقة إلكترونية، مراجعة 13 نوفمبر 2005، تم استرجاعها في 2 ديسمبر 2005.
  3. ^ abc Fink, Daniel (1997). "A Compendium of Conjugate Priors" (PDF) . CiteSeerX  10.1.1.157.5540 . مؤرشف من الأصل (PDF) في 29 مايو 2009.
  4. ^ abcdefghijklm مورفي، كيفن ب. (2007)، التحليل البايزي المترافق للتوزيع الغاوسي (PDF)
  5. ^ ليو، هان؛ واسرمان، لاري (2014). التعلم الآلي الإحصائي (PDF) . ص 314.
Retrieved from "https://en.wikipedia.org/w/index.php?title=Conjugate_prior&oldid=1224163912"
Original text
Rate this translation
Your feedback will be used to help improve Google Translate