عملية ديريشليه الهرمية

في الإحصاء والتعلم الآلي ، تُعدّ عملية ديريشليه الهرمية ( HDP ) منهجًا بايزيًا غير بارامتري لتجميع البيانات المصنفة . ^{[ 1 ] [ 2 ]} تستخدم هذه العملية عملية ديريشليه لكل مجموعة بيانات، حيث تشترك عمليات ديريشليه لجميع المجموعات في توزيع أساسي مُستمد بدوره من عملية ديريشليه. تسمح هذه الطريقة للمجموعات بمشاركة القوة الإحصائية من خلال مشاركة المجموعات الفرعية. يُعدّ استخلاص التوزيع الأساسي من عملية ديريشليه أمرًا بالغ الأهمية، لأنّ عمليات الاستخلاص من عملية ديريشليه تُمثّل مقاييس احتمالية ذرية، وستظهر الذرات في جميع عمليات ديريشليه على مستوى المجموعة. وبما أنّ كل ذرة تُقابل مجموعة فرعية، فإنّ المجموعات الفرعية مشتركة بين جميع المجموعات. طُوّرت هذه العملية بواسطة يي واي تيه ، ومايكل آي. جوردان ، وماثيو جيه. بيل، وديفيد بلي ، ونُشرت في مجلة الجمعية الإحصائية الأمريكية عام 2006، ^{[ 1 ]} كصياغة رسمية وتعميم لنموذج ماركوف المخفي اللانهائي الذي نُشر عام 2002. ^{[ 3 ]}

هذا الوصف للنموذج مأخوذ من ^{[ 1 ]} . يُعدّ نموذج البيانات المُجمّعة (HDP) نموذجًا للبيانات المُجمّعة. وهذا يعني أن عناصر البيانات تأتي في مجموعات مُتعددة ومُتميزة. على سبيل المثال، في نموذج الموضوع، تُنظّم الكلمات في مستندات، ويتكون كل مستند من مجموعة من الكلمات (عناصر البيانات). يتم فهرسة المجموعات حسب${\displaystyle j=1,...J}$لنفترض أن كل مجموعة تتكون من عناصر بيانات${\displaystyle x_{j1},...x_{jn}}$.

يتم تحديد معلمات HDP بواسطة توزيع أساسي${\displaystyle H}$التي تحدد التوزيع المسبق لعناصر البيانات، وعدد من معلمات التركيز التي تحدد العدد المسبق للمجموعات ومقدار المشاركة بين المجموعات.${\displaystyle j}$ترتبط المجموعة بمقياس احتمالية عشوائي${\displaystyle G_{j}}$والتي لها توزيع معطى بواسطة عملية ديريشليه:

${\displaystyle {\begin{aligned}G_{j}|G_{0}&\sim \operatorname {DP} (\alpha _{j},G_{0})\end{aligned}}}$

أين${\displaystyle \alpha _{j}}$يمثل معامل التركيز المرتبط بالمجموعة، و${\displaystyle G_{0}}$التوزيع الأساسي مشترك بين جميع المجموعات. بدوره، فإن التوزيع الأساسي المشترك يتبع عملية ديريشليه:

${\displaystyle {\begin{aligned}G_{0}&\sim \operatorname {DP} (\alpha _{0},H)\end{aligned}}}$

مع معامل التركيز${\displaystyle \alpha _{0}}$وتوزيع القاعدة${\displaystyle H}$وأخيرًا، لربط عمليات ديريشليه بالبيانات المرصودة، كل عنصر من عناصر البيانات${\displaystyle x_{ji}}$يرتبط بمعامل كامن${\displaystyle \theta _{ji}}$:

${\displaystyle {\begin{align}\theta _{ji}|G_{j}&\sim G_{j}\\x_{ji}|\theta _{ji}&\sim F(\theta _{ji})\end{محاذاة}}}$

ينص السطر الأول على أن لكل معلمة توزيعًا مسبقًا معطى بواسطة${\displaystyle G_{j}}$بينما ينص السطر الثاني على أن لكل عنصر من عناصر البيانات توزيعًا${\displaystyle F(\theta _{ji})}$يتم تحديد المعلمة بواسطة المعلمة المرتبطة بها. يُطلق على النموذج الناتج أعلاه اسم نموذج خليط HDP، حيث يشير HDP إلى مجموعة عمليات ديريشليه المرتبطة هرميًا، ويشير نموذج الخليط إلى الطريقة التي ترتبط بها عمليات ديريشليه بعناصر البيانات.

لفهم كيفية تطبيق نموذج التجميع في عملية ديريشليه، وكيفية مشاركة المجموعات العنقودية بين المجموعات، تذكر أن عمليات السحب من عملية ديريشليه هي مقاييس احتمالية ذرية باحتمال واحد. هذا يعني أن التوزيع الأساسي المشترك${\displaystyle G_{0}}$له شكل يمكن كتابته على النحو التالي:

${\displaystyle {\begin{aligned}G_{0}&=\sum _{k=1}^{\infty }\pi _{0k}\delta _{\theta _{k}^{*}}\end{aligned}}}$

حيث يوجد عدد لا نهائي من الذرات،${\displaystyle \theta _{k}^{*},k=1,2,...}$، بافتراض أن التوزيع الأساسي الإجمالي${\displaystyle H}$له دعم لا نهائي. كل ذرة مرتبطة بكتلة${\displaystyle \pi _{0k}}$يجب أن يكون مجموع الكتلتين واحدًا لأن${\displaystyle G_{0}}$هو مقياس احتمالي. بما أن${\displaystyle G_{0}}$وهي نفسها التوزيع الأساسي لعمليات ديريشليه الخاصة بالمجموعة، كل منها${\displaystyle G_{j}}$سيكون لها ذرات معطاة بواسطة ذرات${\displaystyle G_{0}}$ويمكن كتابتها بنفسها على النحو التالي:

${\displaystyle {\begin{aligned}G_{j}&=\sum _{k=1}^{\infty }\pi _{jk}\delta _{\theta _{k}^{*}}\end{aligned}}}$

وبالتالي، فإن مجموعة الذرات مشتركة بين جميع المجموعات، ولكل مجموعة كتل ذرية خاصة بها. وبربط هذا التمثيل بالبيانات المرصودة، نرى أن كل عنصر من عناصر البيانات يُوصف بنموذج خليط.

${\displaystyle {\begin{aligned}x_{ji}|G_{j}&\sim \sum _{k=1}^{\infty }\pi _{jk}F(\theta _{k}^{*})\end{aligned}}}$

حيث الذرات${\displaystyle \theta _{k}^{*}}$تلعب دور معلمات مكونات الخليط، بينما الكتل${\displaystyle \pi _{jk}}$تلعب هذه العناصر دور نسب المزج. في الختام، يتم نمذجة كل مجموعة بيانات باستخدام نموذج مزيج، حيث تشترك جميع المجموعات في مكونات المزيج، بينما تكون نسب المزج خاصة بكل مجموعة. من منظور التجميع، يمكننا تفسير كل مكون من مكونات المزيج على أنه يمثل مجموعة من عناصر البيانات، حيث تشترك جميع المجموعات في مجموعات فرعية، ولكل مجموعة نسب مزج خاصة بها، تتكون من تركيبات مختلفة من هذه المجموعات الفرعية.

يُعدّ نموذج خليط HDP تعميمًا طبيعيًا غير بارامتري لتخصيص ديريشلي الكامن ، حيث يمكن أن يكون عدد المواضيع غير محدود ويتم تعلمه من البيانات. ^{[ 1 ]} هنا، كل مجموعة عبارة عن مستند يتكون من مجموعة من الكلمات، وكل عنقود عبارة عن موضوع، وكل مستند عبارة عن مزيج من المواضيع. كما يُعدّ HDP مكونًا أساسيًا لنموذج ماركوف المخفي اللانهائي ، ^{[ 3 ]} وهو تعميم غير بارامتري لنموذج ماركوف المخفي يسمح بأن يكون عدد الحالات غير محدود ويتم تعلمه من البيانات. ^{[ 1 ] [ 4 ]}

يمكن تعميم عملية HDP في عدة اتجاهات. إذ يمكن استبدال عمليات ديريشليه بعمليات بيتمان-يور وعمليات جاما ، مما ينتج عنه عملية بيتمان-يور الهرمية وعملية جاما الهرمية. ويمكن أن يكون التسلسل الهرمي أعمق، مع مستويات متعددة من المجموعات مرتبة في تسلسل هرمي. وقد استُغل هذا الترتيب في مُخزن التسلسل ، وهو نموذج بايزي غير بارامتري للتسلسلات، يتميز بتسلسل هرمي متعدد المستويات من عمليات بيتمان-يور. بالإضافة إلى ذلك، يستخلص نموذج التعلم متعدد المجالات البايزي (BMDL) تمثيلات كامنة تعتمد على المجال لبيانات العد ذات التشتت الزائد ، استنادًا إلى تحليل ذي الحدين السالب الهرمي، وذلك لتصنيف أنواع السرطان الفرعية بدقة، حتى لو كان عدد العينات لنوع سرطان معين صغيرًا. ^{[ 5 ]}

• عملية المطعم الصيني