التوزيع التصنيفي

تصنيفي

حدود	${\displaystyle k>0}$عدد الفئات ( عدد صحيح ) احتمالات الحدث ${\displaystyle p_{1},\ldots ,p_{k}}$${\displaystyle (p_{i}\geq 0,\,\Sigma p_{i}=1)}$
يدعم	${\displaystyle x\in \{1,\dots ,k\}}$
بي إم إف	(1) (2) (3)${\displaystyle p(x=i)=p_{i}}$ ${\displaystyle p(x)=p_{1}^{[x=1]}\cdots p_{k}^{[x=k]}}$ ${\displaystyle p(x)=[x=1]\cdot p_{1}\,+\cdots +\,[x=k]\cdot p_{k}}$ أين قوس ايفرسون ؟${\displaystyle [x=i]}$
وضع	${\displaystyle i{\text{ بحيث }}p_{i}=\max(p_{1},\ldots ,p_{k})}$

في نظرية الاحتمالات والإحصاء ، التوزيع التصنيفي (يُسمى أيضًا توزيع برنولي المعمم ، وتوزيع متعدد النولي ^[1] ) هو توزيع احتمالي منفصل يصف النتائج المحتملة لمتغير عشوائي يمكن أن يأخذ إحدى الفئات المحتملة K ، مع تحديد احتمال كل فئة على حدة. لا يوجد ترتيب أساسي فطري لهذه النتائج، ولكن غالبًا ما يتم إرفاق تسميات رقمية للراحة في وصف التوزيع، (على سبيل المثال 1 إلى K ). التوزيع التصنيفي ذو الأبعاد K هو التوزيع الأكثر عمومية على حدث ذي اتجاه K ؛ أي توزيع منفصل آخر على مساحة عينة بحجم K هو حالة خاصة. المعلمات التي تحدد احتمالات كل نتيجة محتملة مقيدة فقط بحقيقة أن كل منها يجب أن يكون في النطاق من 0 إلى 1، ويجب أن يكون مجموعها 1.

التوزيع التصنيفي هو تعميم لتوزيع برنولي لمتغير عشوائي تصنيفي ، أي لمتغير منفصل له أكثر من نتيجتين محتملتين، مثل رمي نرد . من ناحية أخرى، التوزيع التصنيفي هو حالة خاصة للتوزيع المتعدد الحدود ، حيث أنه يعطي احتمالات النتائج المحتملة لرسم واحد بدلاً من رسومات متعددة.

في بعض الأحيان، يُطلق على التوزيع التصنيفي مصطلح "التوزيع المنفصل". ومع ذلك، فإن هذا المصطلح يشير بشكل صحيح ليس إلى عائلة معينة من التوزيعات ولكن إلى فئة عامة من التوزيعات .

في بعض المجالات، مثل التعلم الآلي ومعالجة اللغة الطبيعية ، يتم دمج التوزيعات الفئوية والمتعددة الحدود ، ومن الشائع التحدث عن "توزيع متعدد الحدود" عندما يكون "التوزيع الفئوي" أكثر دقة. ^[2] ينبع هذا الاستخدام غير الدقيق من حقيقة أنه من المناسب أحيانًا التعبير عن نتيجة التوزيع الفئوي كمتجه "1 من K " (متجه يحتوي عنصر واحد على 1 وجميع العناصر الأخرى تحتوي على 0) بدلاً من عدد صحيح في النطاق من 1 إلى K ؛ في هذا الشكل، يكون التوزيع الفئوي مكافئًا للتوزيع المتعدد الحدود لملاحظة واحدة (انظر أدناه).

ومع ذلك، فإن دمج التوزيعات الفئوية والمتعددة الحدود يمكن أن يؤدي إلى مشاكل. على سبيل المثال، في توزيع دي ريتشليت المتعدد الحدود ، والذي ينشأ عادة في نماذج معالجة اللغة الطبيعية (على الرغم من أنه لا يحمل هذا الاسم عادةً) نتيجة لعينة جيبس ​​المنهارة حيث يتم انهيار توزيعات دي ريتشليت من نموذج بايزي هرمي ، من المهم جدًا التمييز بين الفئوية والمتعددة الحدود. التوزيع المشترك لنفس المتغيرات مع نفس توزيع دي ريتشليت المتعدد الحدود له شكلان مختلفان اعتمادًا على ما إذا كان يتميز بأنه توزيع يكون مجاله على العقد الفئوية الفردية أو على عدد العقد على غرار متعدد الحدود في كل فئة معينة (على غرار التمييز بين مجموعة من العقد الموزعة على أساس برنولي وعقدة واحدة موزعة على أساس ثنائي ). كلا الشكلين لهما وظائف كتلة احتمالية متشابهة جدًا (PMFs)، وكلاهما يشير إلى عدد العقد على غرار متعدد الحدود في فئة. ومع ذلك، فإن PMF على النمط المتعدد الحدود يحتوي على عامل إضافي، وهو معامل متعدد الحدود ، وهو ثابت يساوي 1 في PMF على النمط الفئوي. قد يؤدي الخلط بين الاثنين بسهولة إلى نتائج غير صحيحة في الإعدادات حيث لا يكون هذا العامل الإضافي ثابتًا فيما يتعلق بالتوزيعات ذات الاهتمام. غالبًا ما يكون العامل ثابتًا في الشرطيات الكاملة المستخدمة في أخذ العينات من جيبس ​​والتوزيعات المثلى في الأساليب المتغيرة .

التوزيع الفئوي هو توزيع احتمالي منفصل تكون مساحة العينة فيه عبارة عن مجموعة من العناصر المحددة بشكل فردي. وهو تعميم لتوزيع برنولي لمتغير عشوائي فئوي .

في إحدى صيغ التوزيع، يتم اعتبار فضاء العينة متوالية محدودة من الأعداد الصحيحة. الأعداد الصحيحة الدقيقة المستخدمة كعناوين ليست مهمة؛ فقد تكون {0, 1, ..., k  − 1} أو {1, 2, ..., k } أو أي مجموعة أخرى عشوائية من القيم. في الأوصاف التالية، نستخدم {1, 2, ..., k } للراحة، على الرغم من أن هذا لا يتفق مع اتفاقية توزيع برنولي ، الذي يستخدم {0, 1}. في هذه الحالة، تكون دالة الكتلة الاحتمالية f هي:

${\displaystyle f(x=i\mid {\boldsymbol {p}})=p_{i},}$

حيث يمثل احتمال رؤية العنصر i و . ${\displaystyle {\boldsymbol {p}}=(p_{1},\ldots ,p_{k})}$${\displaystyle p_{i}}$${\displaystyle \textstyle {\sum _{i=1}^{k}p_{i}=1}}$

هناك صيغة أخرى تبدو أكثر تعقيدًا ولكنها تسهل التلاعبات الرياضية وهي كما يلي، باستخدام قوس إيفرسون : ^[3]

${\displaystyle f(x\mid {\boldsymbol {p}})=\prod _{i=1}^{k}p_{i}^{[x=i]},}$

حيث يتم تقييمها إلى 1 إذا كانت ، وإلا تكون 0. هناك مزايا عديدة لهذه الصيغة، على سبيل المثال: ${\displaystyle [x=i]}$${\displaystyle x=i}$

• من الأسهل كتابة دالة الاحتمالية لمجموعة من المتغيرات الفئوية المستقلة الموزعة بشكل متطابق .
• ويربط التوزيع التصنيفي بالتوزيع المتعدد الحدود ذي الصلة .
• وهو يوضح سبب كون توزيع دي ريتشليت هو التوزيع المسبق المترافق للتوزيع الفئوي، ويسمح بحساب التوزيع الخلفي للمعلمات.

هناك صيغة أخرى توضح الارتباط بين التوزيعات الفئوية والمتعددة الحدود من خلال التعامل مع التوزيع الفئوي كحالة خاصة للتوزيع المتعدد الحدود حيث يتم تثبيت معامل n للتوزيع المتعدد الحدود (عدد العناصر العينة) عند 1. في هذه الصيغة، يمكن اعتبار مساحة العينة مجموعة من المتجهات العشوائية المشفرة 1 من K ^[4] x ذات البعد k والتي لها الخاصية التي مفادها أن عنصرًا واحدًا على وجه التحديد له القيمة 1 والعناصر الأخرى لها القيمة 0. يشير العنصر المحدد الذي له القيمة 1 إلى الفئة التي تم اختيارها. دالة كتلة الاحتمال f في هذه الصيغة هي:

${\displaystyle f(\mathbf {x} \mid {\boldsymbol {p}})=\prod _{i=1}^{k}p_{i}^{x_{i}},}$

حيث يمثل احتمال رؤية العنصر i و . هذه هي الصيغة التي تبناها الأسقف . ^{[4] [ملاحظة 1]}${\displaystyle p_{i}}$${\displaystyle \textstyle {\مجموع _{i}p_{i}=1}}$

• التوزيع معطى بالكامل بالاحتمالات المرتبطة بكل رقم i : , i = 1,..., k , حيث . المجموعات الممكنة من الاحتمالات هي بالضبط تلك الموجودة في المصفوفة البسيطة ذات الأبعاد القياسية ؛ بالنسبة إلى k = 2، فإن هذا يُختزل إلى الاحتمالات الممكنة لتوزيع برنولي وهو المصفوفة البسيطة ذات الأبعاد القياسية،${\displaystyle p_{i}=P(X=i)}$${\displaystyle \textstyle {\مجموع _{i}p_{i}=1}}$${\displaystyle (k-1)}$${\displaystyle p_{1}+p_{2}=1,0\leq p_{1},p_{2}\leq 1.}$
• التوزيع هو حالة خاصة من "توزيع برنولي متعدد المتغيرات" ^[5] حيث يأخذ أحد المتغيرات k 0-1 القيمة واحد.
• ${\displaystyle \operatorname {E} \left[\mathbf {x} \right]={\boldsymbol {p}}}$
• ليكن التنفيذ من توزيع تصنيفي. حدد المتجه العشوائي Y على أنه يتكون من العناصر:${\displaystyle {\boldsymbol {X}}}$

${\displaystyle Y_{i}=I({\boldsymbol {X}}=i),}$

حيث I هي دالة المؤشر . ثم يكون لدى Y توزيع هو حالة خاصة من التوزيع المتعدد الحدود مع المعلمة . مجموع المتغيرات العشوائية المستقلة والموزعة بشكل متطابق Y التي تم إنشاؤها من توزيع فئوي مع معلمة موزعة بشكل متعدد الحدود مع المعلمات و${\displaystyle n=1}$${\displaystyle n}$${\displaystyle {\boldsymbol {p}}}$${\displaystyle n}$${\displaystyle {\boldsymbol {p}}.}$

• التوزيع المسبق المترافق للتوزيع الفئوي هو توزيع دي ريتشليت . ^[2] راجع القسم أدناه لمزيد من المناقشة.
• الإحصائية الكافية من n ملاحظة مستقلة هي مجموعة من العد (أو ما يعادله، النسبة) للملاحظات في كل فئة، حيث يكون العدد الإجمالي للتجارب (= n ) ثابتًا.
• دالة المؤشر لملاحظة لها قيمة i ، تعادل دالة قوس إيفرسون أو دالة دلتا كرونيكر، وهي موزعة برنولي مع المعلمة${\displaystyle [x=i]}$${\displaystyle \delta _{xi},}$${\displaystyle p_{i}.}$

في الإحصاء البايزي ، توزيع دي ريتشليه هو التوزيع المسبق المترافق للتوزيع الفئوي (وكذلك التوزيع المتعدد الحدود ). وهذا يعني أنه في نموذج يتكون من نقطة بيانات لها توزيع فئوي مع متجه معلمات غير معروف p ، و(بالأسلوب البايزي القياسي) نختار معاملة هذه المعلمة كمتغير عشوائي وإعطائها توزيعًا مسبقًا محددًا باستخدام توزيع دي ريتشليه ، ثم يكون التوزيع اللاحق للمعلمة، بعد دمج المعرفة المكتسبة من البيانات المرصودة، دي ريتشليه أيضًا. وبشكل حدسي، في مثل هذه الحالة، بدءًا مما هو معروف عن المعلمة قبل ملاحظة نقطة البيانات، يمكن بعد ذلك تحديث المعرفة بناءً على نقطة البيانات، مما ينتج عنه توزيع جديد بنفس شكل التوزيع القديم. وعلى هذا النحو، يمكن تحديث معرفة المعلمة على التوالي من خلال دمج ملاحظات جديدة واحدة تلو الأخرى، دون الوقوع في صعوبات رياضية.

رسميًا، يمكن التعبير عن ذلك على النحو التالي. مع الأخذ في الاعتبار النموذج

${\displaystyle {\begin{array}{lclcl}{\boldsymbol {\alpha }}&=&(\alpha _{1},\ldots ,\alpha _{K})&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&(p_{1},\ldots ,p_{K})&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&(x_{1},\ldots ,x_{N})&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}}$

ثم ينطبق ما يلي: ^[2]

${\displaystyle {\begin{array}{lclcl}\mathbf {c} &=&(c_{1},\ldots ,c_{K})&=&{\text{number of occurrences of category }}i,{\text{ so that }}c_{i}=\sum _{j=1}^{N}[x_{j}=i]\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} (K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K})\end{array}}}$

تُستخدم هذه العلاقة في الإحصاءات البايزية لتقدير المعلمة الأساسية p لتوزيع فئوي معطى مجموعة من N عينة. بديهيًا، يمكننا عرض متجه α المفرط الأسبقية على أنه pseudocounts ، أي أنه يمثل عدد الملاحظات في كل فئة والتي رأيناها بالفعل. ثم نضيف ببساطة الأعداد لجميع الملاحظات الجديدة (المتجه c ) من أجل استنتاج التوزيع اللاحق.

يأتي الحدس الإضافي من القيمة المتوقعة للتوزيع الخلفي (انظر المقال حول توزيع دي ريتشليت ):

${\displaystyle \operatorname {E} [p_{i}\mid \mathbb {X} ,{\boldsymbol {\alpha }}]={\frac {c_{i}+\alpha _{i}}{N+\sum _{k}\alpha _{k}}}}$

وهذا يعني أن الاحتمال المتوقع لرؤية الفئة i بين التوزيعات المنفصلة المختلفة التي يولدها التوزيع اللاحق يساوي ببساطة نسبة حدوث تلك الفئة التي شوهدت بالفعل في البيانات، بما في ذلك الأعداد الزائفة في التوزيع السابق. وهذا منطقي للغاية: على سبيل المثال، إذا كان هناك ثلاث فئات محتملة، وشُوهدت الفئة 1 في البيانات المرصودة بنسبة 40% من الوقت، فمن المتوقع في المتوسط ​​رؤية الفئة 1 بنسبة 40% من الوقت في التوزيع اللاحق أيضًا.

(هذه الحدس تتجاهل تأثير التوزيع السابق. وعلاوة على ذلك، فإن التوزيع اللاحق هو توزيع على التوزيعات . يصف التوزيع اللاحق بشكل عام المعلمة المعنية، وفي هذه الحالة تكون المعلمة نفسها توزيع احتمالي منفصل ، أي التوزيع التصنيفي الفعلي الذي أنتج البيانات. على سبيل المثال، إذا كانت هناك 3 فئات بنسبة 40:5:55 في البيانات المرصودة، فعند تجاهل تأثير التوزيع السابق، من المتوقع أن يكون للمعلمة الحقيقية - أي التوزيع الأساسي الحقيقي الذي أنتج بياناتنا المرصودة - القيمة المتوسطة (0.40،0.05،0.55)، وهو ما يكشفه التوزيع اللاحق بالفعل. ومع ذلك، قد يكون التوزيع الحقيقي في الواقع (0.35،0.07،0.58) أو (0.42،0.04،0.54) أو احتمالات أخرى قريبة مختلفة. يتم تحديد مقدار عدم اليقين المتضمن هنا من خلال تباين التوزيع اللاحق، والذي يتم التحكم فيه من خلال العدد الإجمالي للملاحظات - فكلما زادت البيانات المرصودة، (كلما قل عدم اليقين بشأن المعلمة الحقيقية.)

(من الناحية الفنية، يجب أن يُنظر إلى المعلمة السابقة على أنها تمثل الملاحظات السابقة للفئة . ثم تمثل المعلمة اللاحقة المحدثة الملاحظات اللاحقة. وهذا يعكس حقيقة أن توزيع دي ريتشليت مع له شكل مسطح تمامًا - في الأساس، توزيع موحد على البسيط للقيم المحتملة لـ p . ومن المنطقي أن يمثل التوزيع المسطح من هذا النوع جهلًا تامًا، مما يتوافق مع عدم وجود ملاحظات من أي نوع. ومع ذلك، فإن التحديث الرياضي لللاحق يعمل بشكل جيد إذا تجاهلنا المصطلح وفكرنا ببساطة في متجه α على أنه يمثل بشكل مباشر مجموعة من الأعداد الزائفة. وعلاوة على ذلك، فإن القيام بذلك يتجنب مشكلة تفسير القيم الأقل من 1.) ${\displaystyle \alpha _{i}}$${\displaystyle \alpha _{i}-1}$${\displaystyle i}$${\displaystyle c_{i}+\alpha _{i}}$${\displaystyle c_{i}+\alpha _{i}-1}$${\displaystyle {\boldsymbol {\alpha }}=(1,1,\ldots )}$${\displaystyle \cdots -1}$${\displaystyle \alpha _{i}}$

تقدير الحد الأقصى للمعامل p في النموذج أعلاه هو ببساطة وضع توزيع دي ريتشليت الخلفي ، أي، ^[2]

${\displaystyle \operatorname {arg\,max} \limits _{\mathbf {p} }p(\mathbf {p} \mid \mathbb {X} )={\frac {\alpha _{i}+c_{i}-1}{\sum _{i}(\alpha _{i}+c_{i}-1)}},\qquad \forall i\;\alpha _{i}+c_{i}>1}$

في العديد من التطبيقات العملية، الطريقة الوحيدة لضمان الشرط هي تعيين كل i . ${\displaystyle \forall i\;\alpha _{i}+c_{i}>1}$${\displaystyle \alpha _{i}>1}$

في النموذج أعلاه، فإن الاحتمالية الهامشية للملاحظات (أي التوزيع المشترك للملاحظات، مع تهميش المعلمة السابقة ) هي توزيع دي ريتشليت متعدد الحدود : ^[2]

${\displaystyle {\begin{aligned}p(\mathbb {X} \mid {\boldsymbol {\alpha }})&=\int _{\mathbf {p} }p(\mathbb {X} \mid \mathbf {p} )p(\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} \\&={\frac {\Gamma \left(\sum _{k}\alpha _{k}\right)}{\Gamma \left(N+\sum _{k}\alpha _{k}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (c_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}\end{aligned}}}$

يلعب هذا التوزيع دورًا مهمًا في النماذج البايزية الهرمية ، لأنه عند إجراء الاستدلال على مثل هذه النماذج باستخدام أساليب مثل أخذ العينات من جيبس ​​أو بايز المتغير ، غالبًا ما يتم تهميش توزيعات ديريتشليت المسبقة. راجع المقال حول هذا التوزيع لمزيد من التفاصيل.

التوزيع التنبؤي الخلفي لملاحظة جديدة في النموذج أعلاه هو التوزيع الذي ستتخذه الملاحظة الجديدة بالنظر إلى مجموعة N من الملاحظات التصنيفية. وكما هو موضح في مقالة توزيع ديريتشليت المتعدد الحدود ، فإن له شكلًا بسيطًا للغاية: ^[2]${\displaystyle {\tilde {x}}}$${\displaystyle \mathbb {X} }$

${\displaystyle {\begin{aligned}p({\tilde {x}}=i\mid \mathbb {X} ,{\boldsymbol {\alpha }})&=\int _{\mathbf {p} }p({\tilde {x}}=i\mid \mathbf {p} )\,p(\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }})\,{\textrm {d}}\mathbf {p} \\&=\,{\frac {c_{i}+\alpha _{i}}{N+\sum _{k}\alpha _{k}}}\\&=\,\mathbb {E} [p_{i}\mid \mathbb {X} ,{\boldsymbol {\alpha }}]\\&\propto \,c_{i}+\alpha _{i}.\\\end{aligned}}}$

هناك علاقات مختلفة بين هذه الصيغة والصيغ السابقة:

• إن الاحتمال التنبؤي اللاحق لرؤية فئة معينة هو نفس النسبة النسبية للملاحظات السابقة في تلك الفئة (بما في ذلك الملاحظات الزائفة للسابقة). وهذا أمر منطقي ــ فمن الناحية البديهية، نتوقع رؤية فئة معينة وفقاً للتردد الذي تم رصده بالفعل في تلك الفئة.
• الاحتمال التنبؤي الخلفي هو نفس القيمة المتوقعة للتوزيع الخلفي. سيتم شرح ذلك بمزيد من التفصيل أدناه.
• ونتيجة لذلك، يمكن التعبير عن هذه الصيغة ببساطة على النحو التالي "احتمال التنبؤ الخلفي لرؤية فئة يتناسب مع العدد الإجمالي الملحوظ لتلك الفئة"، أو على النحو التالي "العدد المتوقع لفئة ما هو نفس العدد الإجمالي الملحوظ للفئة"، حيث يتم اعتبار "العدد الملحوظ" متضمنًا للملاحظات الزائفة للسابقة.

إن سبب التكافؤ بين الاحتمال التنبؤي الخلفي والقيمة المتوقعة للتوزيع الخلفي لـ p واضح من خلال إعادة فحص الصيغة أعلاه. وكما هو موضح في مقال التوزيع التنبؤي الخلفي ، فإن صيغة الاحتمال التنبؤي الخلفي لها شكل قيمة متوقعة مأخوذة فيما يتعلق بالتوزيع الخلفي:

${\displaystyle {\begin{aligned}p({\tilde {x}}=i\mid \mathbb {X} ,{\boldsymbol {\alpha }})&=\int _{\mathbf {p} }p({\tilde {x}}=i\mid \mathbf {p} )\,p(\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }})\,{\textrm {d}}\mathbf {p} \\&=\,\operatorname {E} _{\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}}\left[p({\tilde {x}}=i\mid \mathbf {p} )\right]\\&=\,\operatorname {E} _{\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}}\left[p_{i}\right]\\&=\,\operatorname {E} [p_{i}\mid \mathbb {X} ,{\boldsymbol {\alpha }}].\end{aligned}}}$

الخط الحاسم أعلاه هو الخط الثالث. أما الخط الثاني فيتبع مباشرة تعريف القيمة المتوقعة. أما الخط الثالث فهو خاص بالتوزيع التصنيفي، ويتبع حقيقة مفادها أنه في التوزيع التصنيفي على وجه التحديد، فإن القيمة المتوقعة لرؤية قيمة معينة i يتم تحديدها مباشرة بواسطة المعلمة المرتبطة p _i . أما الخط الرابع فهو ببساطة إعادة كتابة للخط الثالث في صيغة مختلفة، باستخدام الصيغة الموجودة في الأعلى لتوقع تم اتخاذه فيما يتعلق بالتوزيع اللاحق للمعلمات.

لاحظ نقاط البيانات واحدة تلو الأخرى، وفي كل مرة ضع في اعتبارك احتمالية التنبؤ بها قبل ملاحظة نقطة البيانات وتحديث البيانات اللاحقة. بالنسبة لأي نقطة بيانات معينة، فإن احتمالية تلك النقطة بافتراض فئة معينة تعتمد على عدد نقاط البيانات الموجودة بالفعل في تلك الفئة. في هذا السيناريو، إذا كانت الفئة ذات تواتر حدوث مرتفع، فمن المرجح أن تنضم نقاط بيانات جديدة إلى تلك الفئة - مما يزيد من إثراء نفس الفئة. غالبًا ما يُطلق على هذا النوع من السيناريوهات نموذج التعلق التفضيلي (أو "الأثرياء يزدادون ثراءً"). هذا النموذج يحاكي العديد من العمليات في العالم الحقيقي، وفي مثل هذه الحالات يكون للاختيارات التي تتخذها نقاط البيانات القليلة الأولى تأثير كبير على بقية نقاط البيانات.

في أخذ العينات من جيبس ، عادة ما يحتاج المرء إلى السحب من التوزيعات الشرطية في شبكات بايز متعددة المتغيرات حيث يكون كل متغير مشروطًا بجميع المتغيرات الأخرى. في الشبكات التي تتضمن متغيرات فئوية ذات مسبقات ديريتشليت (على سبيل المثال نماذج الخليط والنماذج التي تتضمن مكونات الخليط)، غالبًا ما يتم "انهيار" توزيعات ديريتشليت ( تهميشها ) من الشبكة، مما يؤدي إلى إدخال التبعيات بين العقد الفئوية المختلفة التي تعتمد على مسبقة معينة (على وجه التحديد، توزيعها المشترك هو توزيع ديريتشليت متعدد الحدود ). أحد أسباب القيام بذلك هو أنه في مثل هذه الحالة، يكون توزيع عقدة فئوية واحدة مع مراعاة العقد الأخرى هو بالضبط التوزيع التنبئي الخلفي للعقد المتبقية.

أي أنه بالنسبة لمجموعة من العقد ، إذا تم الإشارة إلى العقدة المعنية على أنها والباقي على أنه ، إذن ${\displaystyle \mathbb {X} }$${\displaystyle x_{n}}$${\displaystyle \mathbb {X} ^{(-n)}}$

${\displaystyle {\begin{aligned}p(x_{n}=i\mid \mathbb {X} ^{(-n)},{\boldsymbol {\alpha }})&=\,{\frac {c_{i}^{(-n)}+\alpha _{i}}{N-1+\sum _{i}\alpha _{i}}}&\propto \,c_{i}^{(-n)}+\alpha _{i}\end{aligned}}}$

أين هو عدد العقد التي لها الفئة i بين العقد الأخرى باستثناء العقدة n . ${\displaystyle c_{i}^{(-n)}}$

هناك عدد من الطرق ، ولكن الطريقة الأكثر شيوعًا لأخذ العينات من التوزيع التصنيفي تستخدم نوعًا من أخذ العينات التحويلية العكسية :

افترض أن التوزيع يتم التعبير عنه "بشكل متناسب مع" بعض التعبيرات، مع ثابت تطبيع غير معروف . قبل أخذ أي عينات، يتم تحضير بعض القيم على النحو التالي:

1. احسب القيمة غير الطبيعية للتوزيع لكل فئة.
2. قم بجمعها ثم قسم كل قيمة على هذا المجموع، من أجل تطبيعها .
3. فرض نوع من النظام على الفئات (على سبيل المثال عن طريق مؤشر يتراوح من 1 إلى k ، حيث k هو عدد الفئات).
4. قم بتحويل القيم إلى دالة توزيع تراكمية (CDF) عن طريق استبدال كل قيمة بمجموع كل القيم السابقة. ويمكن القيام بذلك في زمن O(k) . وستكون القيمة الناتجة للفئة الأولى 0.

ثم، في كل مرة يكون من الضروري أخذ عينة من القيمة:

1. اختر رقمًا موزعًا بشكل موحد بين 0 و 1.
2. حدد أكبر رقم في دالة التوزيع التراكمي الذي تكون قيمته أقل من أو تساوي الرقم الذي اخترته للتو. يمكن القيام بذلك في زمن O(log(k)) ، عن طريق البحث الثنائي .
3. إرجاع الفئة المقابلة لقيمة CDF هذه.

إذا كان من الضروري استخلاص العديد من القيم من نفس التوزيع التصنيفي، فإن النهج التالي أكثر كفاءة. فهو يستخرج n عينة في زمن O(n) (بافتراض استخدام تقريب O(1) لاستخلاص القيم من التوزيع الثنائي ^[6] ).

دالة draw_categorical(n) // حيث n هو عدد العينات المراد سحبها من التوزيع التصنيفي
  ر = 1
  س = 0
  بالنسبة إلى i من 1 إلى k // حيث k هو عدد الفئات
    v = ارسم من توزيع ثنائي (n، p[i] / r) // حيث p[i] هو احتمال الفئة i
    بالنسبة إلى j من 1 إلى v
      z[s++] = i // حيث z عبارة عن مصفوفة يتم تخزين النتائج فيها
    ن = ن - ف
    ر = ر - ص[ي]
  خلط (إعادة ترتيب عشوائيًا) العناصر في z
  العودة ز

في التعلم الآلي، من المعتاد تحديد معلمات التوزيع التصنيفي، من خلال تمثيل غير مقيد في ، حيث يتم تحديد مكوناته بواسطة: ${\displaystyle p_{1},\ldots ,p_{k}}$${\displaystyle \mathbb {R} ^{k}}$

${\displaystyle \gamma _{i}=\log p_{i}+\alpha }$

حيث يكون أي ثابت حقيقي. بالنظر إلى هذا التمثيل، يمكن استرداده باستخدام دالة softmax ، والتي يمكن بعد ذلك أخذ عينات منها باستخدام التقنيات الموضحة أعلاه. ومع ذلك، توجد طريقة أخذ عينات أكثر مباشرة تستخدم عينات من توزيع جامبل . ^[7] دع k يسحب بشكل مستقل من توزيع جامبل القياسي، ثم ${\displaystyle \alpha }$${\displaystyle p_{1},\ldots ,p_{k}}$${\displaystyle g_{1},\ldots ,g_{k}}$

${\displaystyle c=\operatorname {arg\,max} \limits _{i}\left(\gamma _{i}+g_{i}\right)}$

ستكون عينة من التوزيع التصنيفي المطلوب. (إذا كانت عينة من التوزيع الموحد القياسي ، فهي عينة من توزيع جامبل القياسي.) ${\displaystyle u_{i}}$${\displaystyle g_{i}=-\log(-\log u_{i})}$

• متغير تصنيفي

• توزيع ديريتشليت
• توزيع متعدد الحدود
• توزيع برنولي
• توزيع ديريتشليت متعدد الحدود