حقل عشوائي مشروط

📅 آخر تحديث: ٥ أغسطس ٢٠٢٦
✍️ نُشر في: ٥ أغسطس ٢٠٢٦
📷 يحتوي على 24 صور
الموسوعة الحرة

الحقول العشوائية الشرطية ( CRFs ) هي فئة من أساليب النمذجة الإحصائية تُستخدم بكثرة في التعرف على الأنماط والتعلم الآلي ، وتُستخدم للتنبؤ المنظم . فبينما يتنبأ المصنف بتصنيف عينة واحدة دون النظر إلى العينات المجاورة، يمكن للحقول العشوائية الشرطية مراعاة السياق. وللقيام بذلك، تُنمذج التنبؤات كنموذج بياني يُمثل وجود التبعيات بينها. ويعتمد نوع الرسم البياني المستخدم على التطبيق. فعلى سبيل المثال، في معالجة اللغات الطبيعية ، تُعد الحقول العشوائية الشرطية ذات السلسلة الخطية شائعة، حيث يعتمد كل تنبؤ فيها على جيرانه المباشرين فقط. أما في معالجة الصور، فيربط الرسم البياني عادةً المواقع بالمواقع القريبة أو المشابهة لضمان حصولها على تنبؤات متشابهة.

من الأمثلة الأخرى التي تُستخدم فيها نماذج الحقول العشوائية الشرطية (CRFs): تصنيف أو تحليل البيانات المتسلسلة لمعالجة اللغة الطبيعية أو التسلسلات البيولوجية ، [ 1 ] وتصنيف أجزاء الكلام ، والتحليل السطحي ، [ 2 ] والتعرف على الكيانات المسماة ، [ 3 ] وإيجاد الجينات ، وإيجاد المناطق الوظيفية الحرجة للببتيدات، [ 4 ] والتعرف على الكائنات ، [ 5 ] وتجزئة الصور في رؤية الحاسوب . [ 6 ]

وصف

تُعتبر نماذج الحقول العشوائية الشرطية نوعًا من النماذج البيانية الاحتمالية غير الموجهة التمييزية .

يُعرّف لافيرتي ، ومكالوم، وبيريرا [ 1 ] نموذج الحقول العشوائية الشرطية على الملاحظاتX{\displaystyle {\boldsymbol {X}}}والمتغيرات العشوائيةY{\displaystyle {\boldsymbol {Y}}}على النحو التالي:

يتركجي=(V،هـ){\displaystyle G=(V,E)}ليكن رسمًا بيانيًا بحيثY=(Yv)v∈V{\displaystyle {\boldsymbol {Y}}=({\boldsymbol {Y}}_{v})_{v\in V}}، لهذا السببY{\displaystyle {\boldsymbol {Y}}}يتم فهرسة بواسطة رؤوسجي{\displaystyle G}.

ثم(X،Y){\displaystyle ({\boldsymbol {X}},{\boldsymbol {Y}})}هو حقل عشوائي شرطي عندما يكون كل متغير عشوائيYv{\displaystyle {\boldsymbol {Y}}_{v}}، بشرطX{\displaystyle {\boldsymbol {X}}}، تخضع لخاصية ماركوف فيما يتعلق بالرسم البياني؛ أي أن احتمالها يعتمد فقط على جيرانها في G وليس على حالاتها السابقة:

P(Yv|X،{Yw:w≠v})=P(Yv|X،{Yw:w∼v}){\displaystyle P({\boldsymbol {Y}}_{v}|{\boldsymbol {X}},\{{\boldsymbol {Y}}_{w}:w\neq v\})=P({\boldsymbol {Y}}_{v}|{\boldsymbol {X}},\{{\boldsymbol {Y}}_{w}:w\sim ت\})}، أينw∼v{\displaystyle {\mathit {w}}\sim v}هذا يعني أنw{\displaystyle w}وv{\displaystyle v}هم جيران فيجي{\displaystyle G}.

وهذا يعني أن نموذج الحقول العشوائية الشرطية (CRF) هو نموذج بياني غير موجه يمكن تقسيم عقده إلى مجموعتين منفصلتين تمامًا.X{\displaystyle {\boldsymbol {X}}}وY{\displaystyle {\boldsymbol {Y}}}، المتغيرات المرصودة والمتغيرات الناتجة، على التوالي؛ التوزيع الشرطيص(Y|X){\displaystyle p({\boldsymbol {Y}}|{\boldsymbol {X}})}ثم يتم تصميم النموذج.

الاستدلال

بالنسبة للرسوم البيانية العامة، تُعدّ مشكلة الاستدلال الدقيق في حقول عشوائية شرطية (CRFs) غير قابلة للحل. وتُشابه مشكلة الاستدلال في حقول عشوائية شرطية (CRFs) مشكلة الاستدلال في حقول عشوائية ماركوف (MRFs) ، وتظلّ الحجج نفسها قائمة. [ 7 ] ومع ذلك، توجد حالات خاصة يكون فيها الاستدلال الدقيق ممكنًا.

  • إذا كان الرسم البياني عبارة عن سلسلة أو شجرة، فإن خوارزميات تمرير الرسائل تُنتج حلولاً دقيقة. وتُشابه الخوارزميات المستخدمة في هذه الحالات خوارزمية التمرير الأمامي-الخلفي وخوارزمية فيتربي في حالة نماذج ماركوف المخفية.
  • إذا كانت CRF تحتوي فقط على إمكانات ثنائية وكانت الطاقة شبه معيارية ، فإن خوارزميات القطع الأدنى التوافقي / التدفق الأقصى تعطي حلولاً دقيقة.

إذا كان الاستدلال الدقيق مستحيلاً، فيمكن استخدام العديد من الخوارزميات للحصول على حلول تقريبية. وتشمل هذه الخوارزميات ما يلي:

تعلم المعلمات

تعلم المعاييرθ{\displaystyle \theta }يتم ذلك عادةً عن طريق التعلم بأقصى احتمال لـص(Yأنا|Xأنا؛θ){\displaystyle p(Y_{i}|X_{i};\theta )}إذا كانت جميع العقد تتبع توزيعات أسية، وتمت مراقبة جميع العقد أثناء التدريب، فإن هذه المسألة الأمثلية تكون محدبة. [ 7 ] ويمكن حلها، على سبيل المثال، باستخدام خوارزميات التدرج الهبوطي ، أو طرق شبه نيوتن مثل خوارزمية L-BFGS . من ناحية أخرى، إذا كانت بعض المتغيرات غير مُراقبة، فيجب حل مسألة الاستدلال لهذه المتغيرات. الاستدلال الدقيق غير ممكن في الرسوم البيانية العامة، لذا يجب استخدام التقريبات.

أمثلة

في نمذجة التسلسل، يكون الرسم البياني محل الاهتمام عادةً رسمًا بيانيًا متسلسلًا. وهو عبارة عن تسلسل إدخال للمتغيرات المرصودة.X{\displaystyle X}يمثل سلسلة من الملاحظات وY{\displaystyle Y}يمثل متغير حالة خفي (أو غير معروف) يجب استنتاجه بناءً على الملاحظات.Yأنا{\displaystyle Y_{i}}يتم تنظيمها لتشكيل سلسلة، مع وجود حافة بين كل منهاYأنا-1{\displaystyle Y_{i-1}}وYأنا{\displaystyle Y_{i}}بالإضافة إلى امتلاك تفسير بسيط لـYأنا{\displaystyle Y_{i}}باعتبارها "علامات" لكل عنصر في تسلسل الإدخال، يسمح هذا التخطيط بخوارزميات فعالة لما يلي:

  • تدريب النموذج ، وتعلم التوزيعات الشرطية بينYأنا{\displaystyle Y_{i}}ووظائف الميزات من مجموعة بيانات التدريب.
  • فك التشفير ، تحديد احتمالية تسلسل تسمية معينY{\displaystyle Y}منحX{\displaystyle X}.
  • الاستدلال ، تحديد تسلسل التصنيف الأكثر احتمالاًY{\displaystyle Y}منحX{\displaystyle X}.

التبعية الشرطية لكلYأنا{\displaystyle Y_{i}}علىX{\displaystyle X}يتم تعريفها من خلال مجموعة ثابتة من وظائف الميزات على الشكلو(أنا،Yأنا-1،Yأنا،X){\displaystyle f(i,Y_{i-1},Y_{i},X)}والتي يمكن اعتبارها قياسات على تسلسل الإدخال تحدد جزئيًا احتمالية كل قيمة ممكنة لـYأنا{\displaystyle Y_{i}}يُعيّن النموذج لكل ميزة وزنًا عدديًا ويجمعها لتحديد احتمالية قيمة معينة لـYأنا{\displaystyle Y_{i}}.

تتشابه تطبيقات نماذج الحقول العشوائية الشرطية ذات السلاسل الخطية مع تطبيقات نماذج ماركوف المخفية (HMMs) الأبسط من الناحية المفاهيمية، ولكنها تخفف بعض الافتراضات المتعلقة بتوزيعات تسلسل المدخلات والمخرجات. يمكن فهم نموذج ماركوف المخفي (HMM) بشكل عام على أنه نموذج حقول عشوائية شرطية (CRF) ذو دوال مميزة محددة للغاية تستخدم احتمالات ثابتة لنمذجة انتقالات الحالة والانبعاثات. في المقابل، يمكن فهم نموذج الحقول العشوائية الشرطية (CRF) بشكل عام على أنه تعميم لنموذج ماركوف المخفي (HMM) حيث تُحوّل احتمالات الانتقال الثابتة إلى دوال اختيارية تتغير بتغير المواضع في تسلسل الحالات المخفية، اعتمادًا على تسلسل المدخلات.

والجدير بالذكر أنه على عكس نماذج ماركوف المخفية، يمكن أن تحتوي نماذج الحقول العشوائية الشرطية على أي عدد من دوال الميزات، ويمكن لدوال الميزات فحص تسلسل الإدخال بأكمله.X{\displaystyle X}في أي مرحلة أثناء الاستدلال، ولا يلزم أن يكون لنطاق وظائف الميزات تفسير احتمالي.

المتغيرات

نماذج الحقول العشوائية الشرطية من الرتبة العليا ونماذج الحقول العشوائية الشرطية شبه ماركوفية

يمكن توسيع نماذج الحقول العشوائية الشرطية إلى نماذج ذات رتبة أعلى عن طريق جعل كلYأنا{\displaystyle Y_{i}}يعتمد على عدد ثابتك{\displaystyle k}من المتغيرات السابقةYأنا-ك،...،Yأنا-1{\displaystyle Y_{i-k},...,Y_{i-1}}في الصيغ التقليدية لنماذج الحقول العشوائية الشرطية ذات الرتبة الأعلى، يكون التدريب والاستدلال عمليين فقط للقيم الصغيرة لـك{\displaystyle k}(مثل k ≤ 5)، [ 8 ] لأن تكلفتها الحسابية تزداد بشكل أُسّي معك{\displaystyle k}.

مع ذلك، نجح تطور حديث آخر في التخفيف من هذه المشكلات من خلال الاستفادة من مفاهيم وأدوات مجال الإحصاءات البايزية غير البارامترية. تحديدًا، يُمثل نهج CRF-infinity [ 9 ] نموذجًا من نوع CRF قادرًا على تعلم الديناميكيات الزمنية اللانهائية بطريقة قابلة للتوسع. ويتحقق ذلك من خلال تقديم دالة جهد جديدة لنماذج CRF، تستند إلى مُخزن التسلسل (SM)، وهو نموذج بايزي غير بارامتري لتعلم الديناميكيات اللانهائية في الملاحظات المتسلسلة. [ 10 ] ولجعل هذا النموذج قابلًا للتطبيق حسابيًا، يستخدم CRF-infinity تقريبًا متوسط ​​المجال [ 11 ] لدوال الجهد الجديدة المفترضة (التي يُحركها مُخزن التسلسل). وهذا يسمح بتصميم خوارزميات تدريب واستدلال تقريبية فعالة للنموذج، دون المساس بقدرته على رصد ونمذجة التبعيات الزمنية ذات الطول العشوائي.

يوجد تعميم آخر لنماذج الحقول العشوائية الشرطية، وهو نموذج الحقل العشوائي الشرطي شبه ماركوف (شبه-CRF) ، الذي يُنمذج تجزئة تسلسل التصنيفات ذات الأطوال المتغيرةY{\displaystyle Y}[ 12 ] وهذا يوفر جزءًا كبيرًا من قوة نماذج الحقول العشوائية الشرطية ذات الرتبة الأعلى لنمذجة التبعيات طويلة المدى لـYأنا{\displaystyle Y_{i}}بتكلفة حسابية معقولة.

وأخيرًا، يمكن اعتبار نماذج الهامش الكبير للتنبؤ المنظم ، مثل آلة المتجهات الداعمة المنظمة، بمثابة إجراء تدريب بديل لنماذج الحقول العشوائية الشرطية.

حقل عشوائي شرطي ديناميكي كامن

تُعدّ الحقول العشوائية الشرطية الديناميكية الكامنة ( LDCRF ) أو نماذج المتغيرات الكامنة الاحتمالية التمييزية ( DPLVM ) نوعًا من أنواع الحقول العشوائية الشرطية (CRFs) المستخدمة في مهام تصنيف التسلسلات. وهي نماذج متغيرات كامنة يتم تدريبها بشكل تمييزي.

في نموذج LDCRF، كما هو الحال في أي مهمة لتصنيف التسلسلات، بالنظر إلى تسلسل الملاحظات x =x1،...،xن{\displaystyle x_{1},\dots ,x_{n}}تتمثل المشكلة الرئيسية التي يجب على النموذج حلها في كيفية تعيين سلسلة من التصنيفات y =y1،...،yن{\displaystyle y_{1},\dots ,y_{n}}من مجموعة محدودة واحدة من التصنيفات Y. بدلاً من نمذجة P ( y | x ) مباشرة كما تفعل CRF الخطية العادية، يتم "إدخال" مجموعة من المتغيرات الكامنة h بين x و y باستخدام قاعدة السلسلة الاحتمالية : [ 13 ]

P(y|x)=∑حP(y|ح،x)P(ح|x){\displaystyle P(\mathbf {y} |\mathbf {x} )=\sum _{\mathbf {h} }P(\mathbf {y} |\mathbf {h} ,\mathbf {x} )P(\mathbf {h} |\mathbf {x} )}

يُتيح ذلك استخلاص البنية الكامنة بين الملاحظات والتصنيفات. [ 14 ] في حين يُمكن تدريب نماذج الحقول العشوائية ذات التعقيد الزمني الكامن (LDCRFs) باستخدام طرق شبه نيوتن، فقد طُوِّرت نسخة مُخصصة من خوارزمية البيرسيبترون تُسمى بيرسيبترون المتغيرات الكامنة خصيصًا لها، استنادًا إلى خوارزمية البيرسيبترون المُهيكل لكولينز . ​​[ 13 ] تجد هذه النماذج تطبيقات في مجال رؤية الحاسوب ، وتحديدًا في التعرف على الإيماءات من تدفقات الفيديو [ 14 ] والتحليل السطحي . [ 13 ]

انظر أيضاً

مراجع

  1. 1 2 لافيرتي، ج.؛ ماكالوم، أ.؛ بيريرا، ف. (2001). "الحقول العشوائية الشرطية: نماذج احتمالية لتقسيم وتصنيف بيانات التسلسل" . وقائع المؤتمر الدولي الثامن عشر للتعلم الآلي . مورغان كوفمان. ص 282-289 . 
  2. ↑ Sha, F.; Pereira, F. (2003). التحليل السطحي باستخدام الحقول العشوائية الشرطية .
  3. ↑ سيتلز، ب. (2004). "التعرف على الكيانات المسماة في الطب الحيوي باستخدام الحقول العشوائية الشرطية ومجموعات الميزات الغنية" (ملف PDF) . وقائع ورشة العمل الدولية المشتركة حول معالجة اللغة الطبيعية في الطب الحيوي وتطبيقاتها . الصفحات 104-107 . 
  4. ↑ تشانغ كي واي؛ لين تي بي؛ شيه إل واي؛ وانغ سي كي (2015). "تحليل وتوقع المناطق الحرجة للببتيدات المضادة للميكروبات بناءً على الحقول العشوائية الشرطية" . PLOS ONE . 10 (3) e0119490. Bibcode : 2015PLoSO..1019490C . doi : 10.1371/journal.pone.0119490 . PMC 4372350. PMID 25803302 .  
  5. ↑ جيه آر رويز-سارمينتو؛ سي. جاليندو؛ جيه. غونزاليس-خيمينيز (2015). "UPGMpp: مكتبة برمجية للتعرف على الكائنات السياقية". ورشة العمل الثالثة حول التعرف والتفاعل لفهم المشهد (REACTS) .
  6. ↑ هي، إكس .؛ زيميل، آر إس؛ كاريرا-بيربينان، إم إيه (2004). "حقول عشوائية شرطية متعددة المقاييس لتصنيف الصور". جمعية مهندسي الكهرباء والإلكترونيات. CiteSeerX 10.1.1.3.7826 . 
  7. 1 2 ساتون، تشارلز؛ ماكالوم، أندرو (2010). "مقدمة في الحقول العشوائية الشرطية". arXiv : 1011.4088v1 [ stat.ML ].
  8. ↑ لافيرن، توماس؛ إيفون، فرانسوا (7 سبتمبر 2017). "تعلم بنية نماذج الحقول العشوائية الشرطية ذات الرتبة المتغيرة: منظور الحالة المحدودة" . وقائع مؤتمر 2017 حول الأساليب التجريبية في معالجة اللغة الطبيعية . كوبنهاغن، الدنمارك: رابطة اللغويات الحاسوبية. ص 433. 
  9. ↑ تشاتزيس، سوتيريوس؛ ديميريس، يانيس (2013). "نموذج الحقل العشوائي الشرطي ذو الرتبة اللانهائية لنمذجة البيانات المتسلسلة". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 35 (6): 1523-1534 . Bibcode : 2013ITPAM..35.1523C . doi : 10.1109/tpami.2012.208 . hdl : 10044/1/12614 . PMID 23599063. S2CID 690627 .  
  10. ↑ غاستهاوس، جان؛ تيه، يي واي (2010). "تحسينات على مُخزن التسلسل" (ملف PDF) . وقائع مؤتمر NIPS .
  11. ↑ سيليو، ج.؛ فوربس، ف.؛ بيرارد، ن. (2003). "إجراءات EM باستخدام تقريبات شبيهة بنموذج المجال المتوسط ​​لتجزئة الصور القائمة على نموذج ماركوف". التعرف على الأنماط . 36 (1): 131-144 . Bibcode : 2003PatRe..36..131C . CiteSeerX 10.1.1.6.9064 . doi : 10.1016/s0031-3203(02)00027-4 . 
  12. ↑ ساراواغي، سونيتا ؛ كوهين، ويليام و. (2005). "حقول عشوائية شرطية شبه ماركوفية لاستخلاص المعلومات" . في: لورانس ك. سول؛ يائير فايس؛ ليون بوتو (محررون). التطورات في أنظمة معالجة المعلومات العصبية 17. كامبريدج، ماساتشوستس: مطبعة معهد ماساتشوستس للتكنولوجيا. الصفحات 1185-1192 . مؤرشف من الأصل (PDF) بتاريخ 30 نوفمبر 2019. تم الاطلاع عليه بتاريخ 12 نوفمبر 2015 . 
  13. 1 2 3 شو صن؛ تاكويا ماتسوزاكي؛ دايسوكي أوكانوهارا؛ جونيتشي تسوجي (2009). خوارزمية بيرسيبترون المتغير الكامن للتصنيف الهيكلي . المؤتمر الدولي المشترك للذكاء الاصطناعي. الصفحات 1236-1242 . مؤرشف من الأصل بتاريخ 2018-12-06 . تم الاسترجاع بتاريخ 2018-12-06 . 
  14. 1 2 مورينسي، إل بي؛ كواتوني، أ.؛ داريل، ت. (2007). "نماذج التمييز الديناميكية الكامنة للتعرف على الإيماءات المستمرة" (ملف PDF) . مؤتمر IEEE لعام 2007 حول رؤية الحاسوب والتعرف على الأنماط . ص 1. CiteSeerX 10.1.1.420.6836 . doi : 10.1109/CVPR.2007.383299 . ISBN   978-1-4244-1179-5. S2CID 7117722 . 

للمزيد من القراءة