نموذج الموضوع الديناميكي

الموسوعة الحرة

نماذج المواضيع الديناميكية هي نماذج توليدية في معالجة اللغة الطبيعية، تحلل تطور المواضيع الكامنة ضمن مجموعة من المستندات بمرور الوقت. وقد اقترح ديفيد بلي وجون لافيرتي هذه المجموعة من نماذج المواضيع، وكانت في البداية امتدادًا لنموذج تخصيص ديريشليت الكامن (LDA) الذي يمكنه التعامل مع المستندات المتسلسلة. [ 1 ]

في نموذج تخصيص ديريشلي الكامن (LDA)، لا يتأثر النموذج بترتيب ظهور الكلمات في المستند أو ترتيب ظهور المستندات في المدونة. فبينما يُفترض أن الكلمات قابلة للتبادل ، يلعب ترتيب المستندات دورًا أساسيًا في نموذج المواضيع الديناميكي. وبشكل أدق، تُصنف المستندات حسب الفترة الزمنية، بافتراض أن مواضيع كل مجموعة ثابتة ومتطورة من مجموعة المواضيع في الشريحة السابقة.

منذ نشأتها، شهدت نمذجة المواضيع الديناميكية ظهور العديد من النماذج الجديدة، بما في ذلك BERTopic. [ 2 ] [ 3 ]

المواضيع

على غرار تحليل المواضيع الكامنة (LDA) وتحليل الدلالات الكامنة الجزئية (pLSA) ، يُنظر إلى كل مستند في نموذج المواضيع الديناميكي على أنه مزيج من مواضيع غير مُلاحظة. علاوة على ذلك، يُحدد كل موضوع توزيعًا متعدد الحدود على مجموعة من المصطلحات. وبالتالي، لكل كلمة في كل مستند، يُستخلص موضوع من هذا المزيج، ثم يُستخلص مصطلح من التوزيع متعدد الحدود المُناسب لذلك الموضوع.

إلا أن المواضيع تتطور بمرور الوقت. على سبيل المثال، قد يكون المصطلحان الأكثر احتمالاً لموضوع ما في الوقت t هما "الشبكة" و"زيبف" (بالترتيب التنازلي)، بينما قد يكون المصطلحان الأكثر احتمالاً في الوقت t+1 هما "زيبف" و"الترشيح" (بالترتيب التنازلي).

نموذج

يُعرِّف

αت{\displaystyle \alpha _{t}}كتوزيع المواضيع لكل مستند في الوقت t .
βت،ك{\displaystyle \beta _{t,k}}توزيع الكلمات للموضوع k في الوقت t .
ηت،د{\displaystyle \eta _{t,d}}توزيع المواضيع للوثيقة د في الوقت ت ،
zت،د،ن{\displaystyle z_{t,d,n}}باعتباره موضوع الكلمة رقم n في المستند d في الوقت t ، و
wت،د،ن{\displaystyle w_{t,d,n}}ككلمة محددة.

في هذا النموذج، التوزيعات متعددة الحدودαت+1{\displaystyle \alpha _{t+1}}وβت+1،ك{\displaystyle \beta _{t+1,k}}يتم توليدها منαت{\displaystyle \alpha _{t}}وβت،ك{\displaystyle \beta _{t,k}}على التوالي. على الرغم من أن التوزيعات متعددة الحدود تُكتب عادةً بدلالة معلمات المتوسط، إلا أن تمثيلها بدلالة المعلمات الطبيعية يكون أفضل في سياق نماذج المواضيع الديناميكية.

يُعاني التمثيل السابق من بعض العيوب نظرًا لتقييد المعاملات بأن تكون غير سالبة ومجموعها يساوي واحدًا. [ 4 ] عند تحديد تطور هذه التوزيعات، يجب التأكد من استيفاء هذه القيود. ولأن كلا التوزيعين ينتميان إلى العائلة الأسية ، فإن أحد حلول هذه المشكلة هو تمثيلهما بدلالة المعاملات الطبيعية، التي يمكن أن تأخذ أي قيمة حقيقية ويمكن تغييرها بشكل فردي.

باستخدام المعلمات الطبيعية، تُعطى ديناميكيات نموذج الموضوع بواسطة

βت،ك|βت-1،ك∼شمال(βت-1،ك،σ2أنا){\displaystyle \beta _{t,k}|\beta _{t-1,k}\sim N(\beta _{t-1,k},\sigma ^{2}I)}

و

αت|αت-1∼شمال(αت-1،دلتا2أنا){\displaystyle \alpha _{t}|\alpha _{t-1}\sim N(\alpha _{t-1},\delta ^{2}I)}.

وبالتالي، فإن العملية التوليدية في الفترة الزمنية 't' هي:

  1. مواضيع الرسمβت،ك|βت-1،ك∼شمال(βت-1،ك،σ2أنا)∀ك{\displaystyle \beta _{t,k}|\beta _{t-1,k}\sim N(\beta _{t-1,k},\sigma ^{2}I)\forall k}
  2. ارسم نموذج الخليطαت|αت-1∼شمال(αت-1،دلتا2أنا){\displaystyle \alpha _{t}|\alpha _{t-1}\sim N(\alpha _{t-1},\delta ^{2}I)}
  3. لكل وثيقة:
    1. يرسمηت،د∼شمال(αت،أ2أنا){\displaystyle \eta _{t,d}\sim N(\alpha _{t},a^{2}I)}
    2. لكل كلمة:
      1. موضوع الرسمZت،د،ن∼متعدد(π(ηت،د)){\displaystyle Z_{t,d,n}\sim {\textrm {Mult}}(\pi (\eta _{t,d}))}
      2. ارسم كلمةدبليوت،د،ن∼متعدد(π(βت،Zت،د،ن)){\displaystyle W_{t,d,n}\sim {\textrm {Mult}}(\pi (\beta _{t,Z_{t,d,n}}))}

أينπ(x){\displaystyle \pi (x)}هي عملية تحويل من المعلمة الطبيعية x إلى المعلمة المتوسطة، أي

π(xأنا)=خبرة⁡(xأنا)∑أناخبرة⁡(xأنا){\displaystyle \pi (x_{i})={\frac {\exp(x_{i})}{\sum _{i}\exp(x_{i})}}}.

الاستدلال

في نموذج الموضوع الديناميكي، فقطدبليوت،د،ن{\displaystyle W_{t,d,n}}يمكن ملاحظة هذا المتغير. أما تعلم المعاملات الأخرى فيُمثل مشكلة استدلال. يرى بلي ولافرتي أن تطبيق أسلوب أخذ عينات جيبس ​​للاستدلال في هذا النموذج أصعب منه في النماذج الثابتة، وذلك بسبب عدم اقتران التوزيعات الغاوسية والمتعددة الحدود. ويقترحان استخدام الأساليب التباينية ، وتحديدًا ترشيح كالمان التبايني وانحدار المويجات التبايني.

التطبيقات

في الورقة البحثية الأصلية، طُبِّق نموذج موضوعي ديناميكي على مجموعة مقالات مجلة ساينس المنشورة بين عامي 1881 و1999، بهدف إثبات إمكانية استخدام هذه الطريقة لتحليل اتجاهات استخدام الكلمات داخل المواضيع. [ 1 ] كما أظهر الباحثون أن النموذج المُدرَّب على الوثائق السابقة قادر على مطابقة وثائق السنة القادمة بشكل أفضل من نموذج تخصيص ديريشليت الكامن (LDA).

قام وانغ وآخرون بتطوير نموذج موضوع ديناميكي مستمر، وتم تطبيقه للتنبؤ بالطابع الزمني للوثائق. [ 5 ]

وتجاوزاً للوثائق النصية، تم استخدام نماذج المواضيع الديناميكية لدراسة التأثير الموسيقي، من خلال تعلم المواضيع الموسيقية وكيفية تطورها في التاريخ الحديث. [ 6 ]

مراجع

  1. 1 2 بلي، ديفيد م؛ لافيرتي، جون د (2006). "نماذج المواضيع الديناميكية". وقائع المؤتمر الدولي الثالث والعشرين للتعلم الآلي - ICML '06 . ICML'06. ص 113-120 . doi : 10.1145/1143844.1143859 . ISBN  978-1-59593-383-6. S2CID 5405229 . 
  2. ↑ كاراكابارامبيل جيمس، شارو؛ ناجدا، مايانك؛ حاجي قاسمي، نوشين؛ كلوفت، ماريوس؛ فيلينز، صوفي (2024). كو، لون-وي؛ مارتينز، أندريه؛ سريكومار، فيفيك (محررون). "تقييم نماذج المواضيع الديناميكية" . وقائع الاجتماع السنوي الثاني والستين لجمعية اللغويات الحاسوبية (المجلد 1: الأوراق البحثية الطويلة) . بانكوك، تايلاند: جمعية اللغويات الحاسوبية: 160-176 . doi : 10.18653/v1/2024.acl-long.11 .
  3. ↑ غروتندورست، مارتن (2022-03-11). "BERTopic: نمذجة المواضيع العصبية باستخدام إجراء TF-IDF القائم على الفئات". arXiv : 2203.05794 [ cs.CL ].
  4. ↑ ريني، جيسون دي إم "مزيج من متعددات الحدود" (ملف PDF) . تم الاطلاع عليه في 5 ديسمبر 2011 .
  5. ↑ وانغ، تشونغ؛ بلي، ديفيد؛ هيكرمان، ديفيد (2008). "نماذج المواضيع الديناميكية ذات الزمن المستمر". وقائع المؤتمر الدولي للتعلم الآلي . ICML '08.
  6. ↑ شاليت، أوري؛ وينشال، دافنا؛ تشيك، غال (2013). "نمذجة التأثير الموسيقي باستخدام نماذج المواضيع" (ملف PDF) . مجلة أبحاث تعلم الآلة .