نموذج ماركوف المخفي

📅 آخر تحديث: ٢٠ يوليو ٢٠٢٦
✍️ نُشر في: ٢٠ يوليو ٢٠٢٦
📷 يحتوي على 53 صور
الموسوعة الحرة

في نظرية الاحتمالات ، نموذج ماركوف المخفي ( HMM ) هو نموذج ماركوف تعتمد فيه المشاهدات على عملية ماركوف كامنة (أو مخفية ) (يشار إليها باسمX{\displaystyle X}يتطلب نموذج ماركوف المخفي وجود عملية قابلة للملاحظةY{\displaystyle Y}والتي تعتمد نتائجها على نتائجX{\displaystyle X}بطريقة معروفة. منذX{\displaystyle X}لا يمكن ملاحظتها بشكل مباشر، والهدف هو التعرف على حالةX{\displaystyle X}من خلال المراقبةY{\displaystyle Y}بحكم تعريف نموذج ماركوف المخفي، فإنه يتطلب شرطًا إضافيًا يتمثل في أن تكون نتيجةY{\displaystyle Y}في ذلك الوقتت=ت0{\displaystyle t=t_{0}}يجب أن تتأثر بشكل حصري بنتيجةX{\displaystyle X}فيت=ت0{\displaystyle t=t_{0}}وأن نتائجX{\displaystyle X}وY{\displaystyle Y}فيت<ت0{\displaystyle t<t_{0}}يجب أن يكون مستقلاً شرطياً عنY{\displaystyle Y}فيت=ت0{\displaystyle t=t_{0}}منحX{\displaystyle X}في ذلك الوقتت=ت0{\displaystyle t=t_{0}}يمكن تقدير المعلمات في نموذج ماركوف المخفي باستخدام تقدير الاحتمال الأقصى . بالنسبة لنماذج ماركوف المخفية ذات السلسلة الخطية، يمكن استخدام خوارزمية باوم-ويلش لتقدير المعلمات.

تُعرف نماذج ماركوف المخفية بتطبيقاتها في الديناميكا الحرارية ، والميكانيكا الإحصائية ، والفيزياء ، والكيمياء ، والاقتصاد ، والتمويل ، ومعالجة الإشارات ، ونظرية المعلومات ، والتعرف على الأنماط - مثل التعرف على الكلام ، [ 1 ] والتعرف على الكتابة اليدوية ، والتعرف على الإيماءات ، [ 2 ] وتصنيف أجزاء الكلام ، وتتبع النوتات الموسيقية، [ 3 ] والتفريغات الجزئية ، [ 4 ] والمعلوماتية الحيوية . [ 5 ] [ 6 ]

تعريف

يتركXن{\displaystyle X_{n}}وYن{\displaystyle Y_{n}}أن تكون عمليات عشوائية منفصلة الزمن ون≥1{\displaystyle n\geq 1}الزوجان(Xن،Yن){\displaystyle (X_{n},Y_{n})}يُعتبر نموذج ماركوف مخفي إذا

  • Xن{\displaystyle X_{n}}هي عملية ماركوف التي لا يمكن ملاحظة سلوكها بشكل مباشر ("مخفي")؛
  • P⁡(Yن∈أ | X1=x1،...،Xن=xن)=P⁡(Yن∈أ | Xن=xن){\displaystyle \operatorname {\mathbf {P}} {\bigl (}Y_{n}\in A\ {\bigl |}\ X_{1}=x_{1},\ldots ,X_{n}=x_{n}{\bigr )}=\operatorname {\mathbf {P} } {\bigl (}Y_{n}\in A\ {\bigl) |}\ X_{n}=x_{n}{\bigr )}}،
لكلن≥1{\displaystyle n\geq 1}،x1،...،xن{\displaystyle x_{1},\ldots ,x_{n}}وكل مجموعة بوريلأ{\displaystyle A}.

يتركXت{\displaystyle X_{t}}وYت{\displaystyle Y_{t}}تكون عمليات عشوائية مستمرة الزمن. الزوج(Xت،Yت){\displaystyle (X_{t},Y_{t})}يُعتبر نموذج ماركوف مخفي إذا

  • Xت{\displaystyle X_{t}}هي عملية ماركوف التي لا يمكن ملاحظة سلوكها بشكل مباشر ("مخفي")؛
  • P⁡(Yت0∈أ|{Xت∈بت}ت≤ت0)=P⁡(Yت0∈أ|Xت0∈بت0){\displaystyle \operatorname {\mathbf {P} } (Y_{t_{0}}\in A\mid \{X_{t}\in B_{t}\}_{t\leq t_{0}})=\operatorname {\mathbf {P} } (Y_{t_{0}}\in A\mid X_{t_{0}}\in B_{t_{0}})}،
لكلت0{\displaystyle t_{0}}كل مجموعة بوريلأ{\displaystyle A}وكل عائلة من مجموعات بوريل{بت}ت≤ت0{\displaystyle \{B_{t}\}_{t\leq t_{0}}}.

مصطلحات

مراحل العمليةXن{\displaystyle X_{n}}(على التوالي)Xت){\displaystyle X_{t})}تُسمى هذه الدول بالدول الخفية ، وP⁡(Yن∈أ|Xن=xن){\displaystyle \operatorname {\mathbf {P} } {\bigl (}Y_{n}\in A\mid X_{n}=x_{n}{\bigr )}}(على التوالي)P⁡(Yت∈أ|Xت∈بت)){\displaystyle \operatorname {\mathbf {P} } {\bigl (}Y_{t}\in A\mid X_{t}\in B_{t}{\bigr )})}يُطلق عليها احتمالية الانبعاث أو احتمالية الإخراج .

أمثلة

سحب الكرات من جرار مخفية

الشكل 1. المعلمات الاحتمالية لنموذج ماركوف المخفي (مثال) X — الحالات y — المشاهدات الممكنة a — احتمالات انتقال الحالة b — احتمالات المخرجات

في شكلها المنفصل، يمكن تصور عملية ماركوف المخفية على أنها تعميم لمسألة الجرة مع الإحلال (حيث يتم إرجاع كل عنصر من الجرة إلى الجرة الأصلية قبل الخطوة التالية). [ 7 ]

لنأخذ هذا المثال

في غرفة غير مرئية للمراقب، يوجد جني. تحتوي الغرفة على جرار X1، X2، X3، ... يحتوي كل منها على مزيج معروف من الكرات، ولكل كرة علامة مميزة y1، y2، y3، ... يختار الجني جرة في تلك الغرفة ويسحب منها كرة عشوائيًا. ثم يضع الكرة على سير ناقل، حيث يمكن للمراقب أن يرى تسلسل الكرات، لكن ليس تسلسل الجرار التي سُحبت منها.

لدى الجني إجراء معين لاختيار الجرار:

  • يعتمد اختيار الجرة للكرة رقم n فقط على رقم عشوائي واختيار الجرة للكرة رقم ( n - 1) .
  • إن اختيار الجرة لا يعتمد بشكل مباشر على الجرار التي تم اختيارها قبل هذه الجرة السابقة.

لذلك، يُطلق على هذا اسم عملية ماركوف . ويمكن وصفها بالجزء العلوي من الشكل 1.

عملية ماركوف

لا يمكن ملاحظة عملية ماركوف نفسها، بل فقط تسلسل الكرات المُعَلَّمة، ولذلك يُطلق على هذا الترتيب اسم عملية ماركوف المخفية . يوضح الجزء السفلي من الرسم البياني في الشكل 1 هذا الأمر، حيث يمكن ملاحظة إمكانية سحب الكرات y1، y2، y3، y4 في كل حالة. حتى لو كان المراقب على دراية بتكوين الجرار ولاحظ للتو تسلسلًا من ثلاث كرات، مثل y1، y2، y3 على سير النقل، فإنه لا يزال غير قادر على التأكد من الجرة ( أي في أي حالة) التي سُحبت منها الكرة الثالثة. مع ذلك، يمكن للمراقب استنتاج معلومات أخرى، مثل احتمالية أن تكون الكرة الثالثة قد أتت من كل جرة.

لعبة تخمين الطقس

لنفترض وجود صديقين، أليس وبوب، يعيشان في مكانين متباعدين ويتحدثان يوميًا عبر الهاتف عما فعلاه خلال اليوم. يهتم بوب بثلاثة أنشطة فقط: المشي في الحديقة، والتسوق، وتنظيف شقته. ويعتمد اختياره للأنشطة كليًا على حالة الطقس في ذلك اليوم. أما أليس، فلا تملك معلومات دقيقة عن الطقس، لكنها على دراية بالأنماط العامة. وبناءً على ما يخبرها به بوب عن أنشطته اليومية، تحاول أليس تخمين حالة الطقس.

تعتقد أليس أن الطقس يعمل وفق سلسلة ماركوف منفصلة . هناك حالتان، "ممطر" و"مشمس"، لكنها لا تستطيع ملاحظتهما مباشرةً، أي أنهما مخفيتان عنها. في كل يوم، هناك احتمال معين أن يقوم بوب بأحد الأنشطة التالية، تبعًا للطقس: "المشي"، "التسوق"، أو "التنظيف". وبما أن بوب يخبر أليس عن أنشطته، فهذه هي الملاحظات . النظام بأكمله هو نموذج ماركوف مخفي (HMM).

تعرف أليس اتجاهات الطقس العامة في المنطقة، وما يفضله بوب في المتوسط. بعبارة أخرى، معلمات نموذج ماركوف المخفي معروفة. ويمكن تمثيلها في بايثون كما يلي :

states = ( "ممطر" , "مشمس" )الملاحظات = ( "المشي" ، "التسوق" ، "التنظيف" )احتمالية البداية = { "ممطر" : 0.6 , "مشمس" : 0.4 }احتمالية_الانتقال = { "مطر" : { "مطر" : 0.7 , "مشمس" : 0.3 }, "مشمس" : { "مطر" : 0.4 , "مشمس" : 0.6 }, }احتمالية_الانبعاث = { "ممطر" : { "المشي" : 0.1 , "التسوق" : 0.4 , "التنظيف" : 0.5 }, "مشمس" : { "المشي" : 0.6 , "التسوق" : 0.3 , "التنظيف" : 0.1 }, }

في هذا الجزء من الكود، start_probabilityيُمثل اعتقاد أليس بشأن حالة نموذج ماركوف المخفي (HMM) عندما يتصل بها بوب لأول مرة (كل ما تعرفه هو أن الطقس يميل إلى أن يكون ممطرًا في المتوسط). توزيع الاحتمالات المستخدم هنا ليس توزيع التوازن، والذي يُقارب (بالنظر إلى احتمالات الانتقال) {'Rainy': 0.57, 'Sunny': 0.43}. transition_probabilityيُمثل تغير الطقس في سلسلة ماركوف الأساسية. في هذا المثال، هناك احتمال بنسبة 30% فقط أن يكون الطقس غدًا مشمسًا إذا كان اليوم ممطرًا. emission_probabilityيُمثل مدى احتمال قيام بوب بنشاط معين في كل يوم. إذا كان الجو ممطرًا، فهناك احتمال بنسبة 50% أنه يُنظف شقته؛ وإذا كان الجو مشمسًا، فهناك احتمال بنسبة 60% أنه في الخارج للتنزه.

التمثيل البياني لنموذج ماركوف المخفي المعطى
التمثيل البياني لنموذج ماركوف المخفي المعطى

يتم شرح مثال مشابه بمزيد من التفصيل في صفحة خوارزمية فيتربي .

الهندسة المعمارية الهيكلية

يوضح الرسم البياني أدناه البنية العامة لنموذج ماركوف المخفي (HMM) المُنشأ. يُمثل كل شكل بيضاوي متغيرًا عشوائيًا يمكن أن يأخذ أيًا من عدد من القيم. المتغير العشوائي x ( t ) هو الحالة المخفية عند الزمن t (مع النموذج من الرسم البياني أعلاه، x ( t ) ∈ { x1 , x2 , x3 } ) . المتغير العشوائي y ( t ) هو المشاهدة عند الزمن t (مع y ( t ) ∈ { y1 , y2 , y3 , y4 } ) . تشير الأسهم في الرسم البياني (الذي يُسمى غالبًا بمخطط الشبكة ) إلى التبعيات الشرطية.

يتضح من الرسم البياني أن التوزيع الاحتمالي الشرطي للمتغير الخفي x ( t ) عند الزمن t ، بمعلومية قيم المتغير الخفي x عند جميع الأزمنة، يعتمد فقط على قيمة المتغير الخفي x ( t -1) ؛ أما القيم عند الزمن t -2 وما قبله فلا تؤثر عليه. تُعرف هذه الخاصية بخاصية ماركوف . وبالمثل، تعتمد قيمة المتغير المرصود y ( t ) فقط على قيمة المتغير الخفي x ( t ) (كلاهما عند الزمن t ).

في نموذج ماركوف المخفي القياسي المُعتمد هنا، تكون فضاءات حالات المتغيرات المخفية منفصلة، ​​بينما يمكن أن تكون المشاهدات نفسها منفصلة (عادةً ما تُولّد من توزيع فئوي ) أو متصلة (عادةً ما تُولّد من توزيع غاوسي ). تتكون معلمات نموذج ماركوف المخفي من نوعين: احتمالات الانتقال واحتمالات الانبعاث (المعروفة أيضًا باحتمالات المخرجات ). تتحكم احتمالات الانتقال في كيفية اختيار الحالة المخفية عند الزمن t، بناءً على الحالة المخفية عند الزمن t - 1 .

يُفترض أن فضاء الحالة الخفية يتكون من إحدى القيم الممكنة البالغ عددها N ، والتي تُنمذج كتوزيع فئوي. (انظر القسم أدناه حول التوسعات للاطلاع على الاحتمالات الأخرى). هذا يعني أنه لكل حالة من الحالات الممكنة البالغ عددها N التي يمكن أن يكون عليها المتغير الخفي في الوقت t ، يوجد احتمال انتقال من هذه الحالة إلى كل حالة من الحالات الممكنة البالغ عددها N للمتغير الخفي في الوقت t + 1 ، ليصبح المجموع 1.شمال2{\displaystyle N^{2}}احتمالات الانتقال. يجب أن يكون مجموع احتمالات الانتقال من أي حالة معينة مساويًا لـ 1. وبالتالي، فإن مصفوفة احتمالات الانتقال من الرتبة N × N هي مصفوفة ماركوف . ولأن أي احتمال انتقال يمكن تحديده بمجرد معرفة الاحتمالات الأخرى، فإن إجمالي عدد معاملات الانتقال هو N ( N - 1) .

بالإضافة إلى ذلك، لكل حالة من الحالات الممكنة البالغ عددها N ، توجد مجموعة من احتمالات الانبعاث التي تحكم توزيع المتغير المرصود في وقت معين، مع الأخذ في الاعتبار حالة المتغير الخفي في ذلك الوقت. يعتمد حجم هذه المجموعة على طبيعة المتغير المرصود. على سبيل المثال، إذا كان المتغير المرصود منفصلاً وله M قيمة ممكنة، ويخضع لتوزيع فئوي ، فسيكون هناك M - 1 معلمة منفصلة، ​​ليصبح المجموع N ( M - 1) معلمة انبعاث لجميع الحالات الخفية. من ناحية أخرى، إذا كان المتغير المرصود متجهًا متعدد الأبعاد M موزعًا وفقًا لتوزيع غاوسي متعدد المتغيرات عشوائي ، فسيكون هناك M معلمة تتحكم في المتوسطات وم(م+1)/2{\displaystyle {M(M+1)}/2}المعاملات التي تتحكم في مصفوفة التغاير ، ليصبح المجموعشمال(م+م(م+1)/2)=شمالم(م+3)/2=يا(شمالم2){\displaystyle N\left(M+{M(M+1)}/{2}\right)={NM(M+3)}/2=O(NM^{2})}معلمات الانبعاث. (في مثل هذه الحالة، ما لم تكن قيمة M صغيرة، فقد يكون من العملي أكثر تقييد طبيعة التغايرات بين العناصر الفردية لمتجه الملاحظة، على سبيل المثال بافتراض أن العناصر مستقلة عن بعضها البعض، أو بشكل أقل تقييدًا، مستقلة عن جميع العناصر المجاورة باستثناء عدد ثابت منها.)

التطور الزمني لنموذج ماركوف المخفي
التطور الزمني لنموذج ماركوف المخفي

الاستدلال

تُشير شفافية الخطوط في الجزء العلوي من الرسم التخطيطي إلى احتمالات انتقال الحالة ومخرجات نموذج ماركوف المخفي. ونظرًا لأن تسلسل المخرجات يُلاحظ في الجزء السفلي من الرسم، فإن الاهتمام ينصب على التسلسل الأكثر ترجيحًا للحالات التي يُمكن أن تكون قد أنتجته. واستنادًا إلى الأسهم الموجودة في الرسم، فإن تسلسلات الحالات التالية هي مرشحة: 5 3 2 5 3 2 4 3 2 5 3 2 3 1 2 5 3 2. يُمكن إيجاد التسلسل الأكثر ترجيحًا بتقييم الاحتمال المشترك لكل من تسلسل الحالات والملاحظات لكل حالة (ببساطة عن طريق ضرب قيم الاحتمال، والتي تُقابل هنا شفافية الأسهم المعنية). بشكل عام، يُمكن حل هذا النوع من المشاكل (أي إيجاد التفسير الأكثر ترجيحًا لتسلسل الملاحظات) بكفاءة باستخدام خوارزمية فيتربي .

ترتبط العديد من مشاكل الاستدلال بنماذج ماركوف المخفية، كما هو موضح أدناه.

احتمالية التسلسل المرصود

تتمثل المهمة في حساب احتمالية تسلسل مخرجات معين بأفضل طريقة ممكنة، مع الأخذ في الاعتبار معلمات النموذج. ويتطلب ذلك جمع جميع تسلسلات الحالات الممكنة.

احتمالية ملاحظة تسلسل

Y=y(0)،y(1)،...،y(ل-1)،{\displaystyle Y=y(0),y(1),\dots ,y(L-1),}

يُعطى الطول L بالعلاقة التالية

P(Y)=∑XP(Y|X)P(X)،{\displaystyle P(Y)=\sum _{X}P(Y\mid X)P(X),}

حيث يمتد المجموع على جميع تسلسلات العقد المخفية الممكنة

X=x(0)،x(1)،...،x(ل-1).{\displaystyle X=x(0),x(1),\dots ,x(L-1).}

بتطبيق مبدأ البرمجة الديناميكية ، يمكن معالجة هذه المشكلة أيضًا بكفاءة باستخدام خوارزمية التوجيه الأمامي .

احتمالية المتغيرات الكامنة

تتضمن العديد من المهام ذات الصلة سؤالاً حول احتمالية حدوث واحد أو أكثر من المتغيرات الكامنة، بالنظر إلى معلمات النموذج وسلسلة من الملاحظات.y(1)،...،y(ت){\displaystyle y(1),\dots ,y(t)}.

تصفية

تتمثل المهمة في حساب التوزيع على الحالات الخفية للمتغير الكامن الأخير في نهاية التسلسل، وذلك بمعرفة معلمات النموذج وتسلسل الملاحظات، أي حسابP(x(ت)|y(1)،...،y(ت)){\displaystyle P(x(t)\mid y(1),\dots ,y(t))}تُستخدم هذه المهمة عندما يُنظر إلى سلسلة المتغيرات الكامنة على أنها الحالات الأساسية التي تمر بها عملية ما في سلسلة من النقاط الزمنية، مع وجود ملاحظات مقابلة في كل نقطة. عندئذٍ، من الطبيعي التساؤل عن حالة العملية في النهاية.

يمكن معالجة هذه المشكلة بكفاءة باستخدام خوارزمية التمرير الأمامي . ومن الأمثلة على ذلك تطبيق الخوارزمية على شبكة ماركوف المخفية لتحديدP(حت|v1:ت){\displaystyle \mathrm {P} {\big (}h_{t}\mid v_{1:t}{\big )}}.

التنعيم

يشبه هذا التصفية، ولكنه يسأل عن توزيع متغير كامن في مكان ما في منتصف سلسلة، أي لحسابP(x(ك)|y(1)،...،y(ت)){\displaystyle P(x(k)\mid y(1),\dots ,y(t))}بالنسبة للبعضك<ت{\displaystyle k<t}من المنظور الموصوف أعلاه، يمكن اعتبار هذا بمثابة توزيع الاحتمالات على الحالات الخفية لنقطة زمنية k في الماضي، بالنسبة للوقت t .

تعتبر خوارزمية التقديم والتراجع طريقة جيدة لحساب القيم المُنعّمة لجميع متغيرات الحالة المخفية.

التفسير الأكثر ترجيحًا

تختلف هذه المهمة عن المهمتين السابقتين، إذ تسأل عن الاحتمال المشترك لتسلسل الحالات المخفية الكامل الذي ولّد تسلسلًا معينًا من الملاحظات (انظر الرسم التوضيحي على اليمين). تُعدّ هذه المهمة قابلة للتطبيق عمومًا عند استخدام نماذج ماركوف المخفية (HMMs) على أنواع مختلفة من المشكلات عن تلك التي تُطبّق عليها مهام الترشيح والتنعيم. ومن الأمثلة على ذلك تصنيف أجزاء الكلام ، حيث تمثل الحالات المخفية أجزاء الكلام الأساسية التي تُقابل تسلسلًا مُلاحظًا من الكلمات. في هذه الحالة، يكمن الاهتمام في تسلسل أجزاء الكلام الكامل، وليس مجرد جزء الكلام لكلمة واحدة، كما هو الحال في الترشيح أو التنعيم.

تتطلب هذه المهمة إيجاد قيمة عظمى على جميع تسلسلات الحالة الممكنة، ويمكن حلها بكفاءة باستخدام خوارزمية فيتربي .

الدلالة الإحصائية

بالنسبة لبعض المشكلات المذكورة أعلاه، قد يكون من المفيد أيضًا التساؤل عن الدلالة الإحصائية . ما هو احتمال أن يكون لتسلسل مُستخلص من توزيع صفري احتمال نموذج ماركوف المخفي (في حالة الخوارزمية الأمامية) أو احتمال تسلسل الحالة القصوى (في حالة خوارزمية فيتربي) على الأقل مساويًا لاحتمال تسلسل مُخرَج مُحدد؟ [ 8 ] عند استخدام نموذج ماركوف المخفي لتقييم مدى ملاءمة فرضية لتسلسل مُخرَج مُحدد، تُشير الدلالة الإحصائية إلى معدل النتائج الإيجابية الخاطئة المرتبط بعدم رفض الفرضية لتسلسل المُخرَج.

تعلُّم

تتمثل مهمة تعلم المعلمات في نماذج ماركوف المخفية (HMMs) في إيجاد أفضل مجموعة من احتمالات انتقال الحالة وانبعاثها، وذلك بالنظر إلى سلسلة مخرجات أو مجموعة من هذه السلاسل. وتتمثل المهمة عادةً في استخلاص تقدير الاحتمال الأقصى لمعلمات نموذج ماركوف المخفي (HMM) بالنظر إلى مجموعة سلاسل المخرجات. لا توجد خوارزمية عملية معروفة لحل هذه المشكلة بدقة، ولكن يمكن استخلاص الاحتمال الأقصى المحلي بكفاءة باستخدام خوارزمية باوم-ويلش أو خوارزمية بالدي-شوفان. وتُعد خوارزمية باوم-ويلش حالة خاصة من خوارزمية التوقع والتعظيم .

إذا استُخدمت نماذج ماركوف المخفية (HMMs) للتنبؤ بالسلاسل الزمنية، فقد ثبت أن أساليب الاستدلال البايزي الأكثر تطورًا، مثل أخذ عينات مونت كارلو لسلسلة ماركوف (MCMC)، أفضل من إيجاد نموذج احتمالية قصوى واحد، وذلك من حيث الدقة والاستقرار. [ 9 ] ونظرًا لأن MCMC يفرض عبئًا حسابيًا كبيرًا، ففي الحالات التي تكون فيها قابلية التوسع الحسابي مهمة أيضًا، يمكن اللجوء إلى تقريبات تباينية للاستدلال البايزي، على سبيل المثال [ 10 ]. في الواقع، يوفر الاستدلال التبايني التقريبي كفاءة حسابية مماثلة لخوارزمية التوقع والتعظيم، مع تحقيق دقة أقل بقليل من الاستدلال البايزي الدقيق من نوع MCMC.

التطبيقات

نموذج ماركوف المخفي (HMM) لملف تعريف محاذاة تسلسل متعددة للبروتينات في Pfam

يمكن تطبيق نماذج ماركوف المخفية (HMMs) في العديد من المجالات التي يكون الهدف فيها استعادة تسلسل بيانات غير قابل للملاحظة المباشرة (ولكن بيانات أخرى تعتمد على هذا التسلسل قابلة للملاحظة). تشمل التطبيقات ما يلي:

تاريخ

وُصفت نماذج ماركوف المخفية في سلسلة من الأبحاث الإحصائية التي نشرها ليونارد إي. باوم وآخرون في النصف الثاني من ستينيات القرن العشرين. [ 29 ] [ 30 ] [ 31 ] [ 32 ] [ 33 ] وكان التعرف على الكلام من أوائل تطبيقات هذه النماذج ، وذلك بدءًا من منتصف سبعينيات القرن العشرين. [ 34 ] [ 35 ] [ 36 ] [ 37 ] ومن وجهة نظر لغوية، تُعادل نماذج ماركوف المخفية القواعد النحوية المنتظمة العشوائية. [ 38 ]

في النصف الثاني من ثمانينيات القرن العشرين، بدأ تطبيق نماذج ماركوف المخفية (HMMs) على تحليل التسلسلات البيولوجية، [ 39 ] وخاصة الحمض النووي (DNA) . ومنذ ذلك الحين، أصبحت هذه النماذج منتشرة على نطاق واسع في مجال المعلوماتية الحيوية . [ 40 ]

الإضافات

مساحات الحالة العامة

في نماذج ماركوف المخفية المذكورة أعلاه، تكون فضاءات حالات المتغيرات المخفية منفصلة، ​​بينما يمكن أن تكون المشاهدات نفسها منفصلة (عادةً ما تُولّد من توزيع فئوي ) أو متصلة (عادةً ما تُولّد من توزيع غاوسي ). ويمكن تعميم نماذج ماركوف المخفية لتشمل فضاءات حالات متصلة. ومن أمثلة هذه النماذج تلك التي تكون فيها عملية ماركوف على المتغيرات المخفية نظامًا ديناميكيًا خطيًا ، مع وجود علاقة خطية بين المتغيرات ذات الصلة، حيث تتبع جميع المتغيرات المخفية والملاحظة توزيعًا غاوسيًا . في الحالات البسيطة، مثل النظام الديناميكي الخطي المذكور آنفًا، يكون الاستدلال الدقيق ممكنًا (باستخدام مرشح كالمان في هذه الحالة )؛ ومع ذلك، بشكل عام، يكون الاستدلال الدقيق في نماذج ماركوف المخفية ذات المتغيرات الكامنة المتصلة غير ممكن، ويجب استخدام طرق تقريبية، مثل مرشح كالمان الموسع أو مرشح الجسيمات .

في الوقت الحاضر، يتم إجراء الاستدلال في نماذج ماركوف المخفية في بيئات غير بارامترية ، حيث يُمكّن هيكل التبعية من تحديد النموذج [ 41 ] ، ولا تزال حدود قابلية التعلم قيد الاستكشاف. [ 42 ]

نمذجة احتمالات الانتقال باستخدام الإحصاء البايزي

نماذج ماركوف المخفية هي نماذج توليدية ، حيث يتم فيها نمذجة التوزيع المشترك للملاحظات والحالات المخفية، أو ما يعادله، كل من التوزيع المسبق للحالات المخفية ( احتمالات الانتقال ) والتوزيع الشرطي للملاحظات بالنظر إلى الحالات ( احتمالات الانبعاث ). تفترض الخوارزميات المذكورة أعلاه ضمنيًا توزيعًا مسبقًا منتظمًا على احتمالات الانتقال. ومع ذلك، من الممكن أيضًا إنشاء نماذج ماركوف مخفية بأنواع أخرى من التوزيعات المسبقة. يُعد توزيع ديريشليه ، وهو التوزيع المسبق المترافق للتوزيع الفئوي، مرشحًا واضحًا بالنظر إلى التوزيع الفئوي لاحتمالات الانتقال. عادةً ما يتم اختيار توزيع ديريشليه متماثل، مما يعكس عدم معرفة أي الحالات أكثر احتمالًا من غيرها. يتحكم المعامل الوحيد لهذا التوزيع (المسمى معامل التركيز ) في الكثافة النسبية أو تباعد مصفوفة الانتقال الناتجة. اختيار القيمة 1 ينتج عنه توزيع منتظم. أما القيم الأكبر من 1 فتنتج مصفوفة كثيفة، حيث من المرجح أن تكون احتمالات الانتقال بين أزواج الحالات متساوية تقريبًا. تؤدي القيم الأقل من 1 إلى مصفوفة متفرقة، حيث يكون لعدد قليل فقط من حالات الوجهة احتمالات انتقال غير مهملة لكل حالة مصدر معينة. من الممكن أيضًا استخدام توزيع ديريشليه مسبق ثنائي المستوى، حيث يتحكم توزيع ديريشليه (التوزيع العلوي) في معلمات توزيع ديريشليه آخر (التوزيع السفلي)، والذي بدوره يتحكم في احتمالات الانتقال. يتحكم التوزيع العلوي في التوزيع العام للحالات، ويحدد مدى احتمالية حدوث كل حالة؛ بينما يحدد معامل التركيز كثافة أو تفرق الحالات. قد يكون هذا التوزيع المسبق ثنائي المستوى، حيث يتم ضبط كلا معاملي التركيز لإنتاج توزيعات متفرقة، مفيدًا على سبيل المثال في تصنيف أجزاء الكلام غير الخاضع للإشراف ، حيث تتكرر بعض أجزاء الكلام بشكل أكثر شيوعًا من غيرها؛ وعادةً ما يكون أداء خوارزميات التعلم التي تفترض توزيعًا مسبقًا منتظمًا ضعيفًا في هذه المهمة. يمكن تعلم معلمات النماذج من هذا النوع، ذات التوزيعات المسبقة غير المنتظمة، باستخدام أخذ عينات جيبس ​​أو الإصدارات الموسعة من خوارزمية التوقع والتعظيم .

يستخدم نموذج ماركوف المخفي الموصوف سابقًا، والذي يتضمن توزيعات ديريشليه المسبقة، عملية ديريشليه بدلًا من توزيع ديريشليه. يتيح هذا النوع من النماذج عددًا غير معروف، وربما لا نهائي، من الحالات. من الشائع استخدام عملية ديريشليه ثنائية المستوى، على غرار النموذج الموصوف سابقًا ذي مستويين من توزيعات ديريشليه. يُطلق على هذا النموذج اسم نموذج ماركوف المخفي الهرمي لعملية ديريشليه ، أو اختصارًا HDP-HMM . وُصف هذا النموذج في الأصل تحت اسم "نموذج ماركوف المخفي اللانهائي" [ 43 ] ، ثم جرى تطويره لاحقًا في "عمليات ديريشليه الهرمية" [ 44 ] .

النهج التمييزي

يستخدم نوع مختلف من الامتدادات نموذجًا تمييزيًا بدلًا من النموذج التوليدي لنماذج ماركوف المخفية القياسية. يُنمذج هذا النوع من النماذج التوزيع الشرطي للحالات المخفية مباشرةً بناءً على المشاهدات، بدلًا من نمذجة التوزيع المشترك. ومن أمثلة هذا النموذج ما يُعرف بنموذج ماركوف ذي الإنتروبيا القصوى (MEMM)، الذي يُنمذج التوزيع الشرطي للحالات باستخدام الانحدار اللوجستي (المعروف أيضًا باسم " نموذج الإنتروبيا القصوى "). وتكمن ميزة هذا النوع من النماذج في إمكانية نمذجة أي خصائص (أي دوال) للمشاهدات، مما يسمح بإدخال المعرفة الخاصة بالمجال للمشكلة المطروحة في النموذج. ولا تقتصر هذه النماذج على نمذجة التبعيات المباشرة بين حالة مخفية ومشاهدتها المرتبطة بها؛ بل يمكن تضمين خصائص المشاهدات القريبة، أو تركيبات المشاهدة المرتبطة والمشاهدات القريبة، أو حتى أي مشاهد على أي مسافة من حالة مخفية معينة، في العملية المستخدمة لتحديد قيمة الحالة المخفية. علاوة على ذلك، لا يشترط أن تكون هذه الخصائص مستقلة إحصائيًا عن بعضها البعض، كما هو الحال عند استخدامها في نموذج توليدي. وأخيرًا، يمكن استخدام خصائص عشوائية لأزواج من الحالات المخفية المتجاورة بدلًا من احتمالات الانتقال البسيطة. أما عيوب هذه النماذج فهي: (1) محدودية أنواع التوزيعات الاحتمالية المسبقة التي يمكن تطبيقها على الحالات المخفية؛ (2) استحالة التنبؤ باحتمالية رؤية أي ملاحظة. غالبًا لا يمثل هذا القيد الثاني مشكلة في التطبيق العملي، إذ لا تتطلب العديد من الاستخدامات الشائعة لنماذج ماركوف المخفية مثل هذه الاحتمالات التنبؤية.

يُعدّ حقل الأرقام العشوائية الشرطي ذو السلسلة الخطية أحد أنواع نماذج التمييز الموصوفة سابقًا . يستخدم هذا النموذج نموذجًا بيانيًا غير موجه (يُعرف أيضًا باسم حقل ماركوف العشوائي ) بدلًا من النماذج البيانية الموجهة المستخدمة في نموذج MEMM والنماذج المشابهة. تكمن ميزة هذا النوع من النماذج في أنه لا يعاني من مشكلة تحيز التصنيفات التي تُعاني منها نماذج MEMM، وبالتالي قد يُقدّم تنبؤات أكثر دقة. أما عيبه، فهو أن تدريبه قد يكون أبطأ من تدريب نماذج MEMM.

ملحقات أخرى

وهناك نوع آخر هو نموذج ماركوف المخفي العاملي ، الذي يسمح بربط ملاحظة واحدة بالمتغيرات المخفية المقابلة لمجموعة منك{\displaystyle K}سلاسل ماركوف مستقلة، بدلاً من سلسلة ماركوف واحدة. وهي تعادل نموذج ماركوف المخفي (HMM) واحد، معشمالك{\displaystyle N^{K}}الولايات (بافتراض وجودها)شمال{\displaystyle N}(لكل سلسلة حالات)، وبالتالي، فإن التعلم في مثل هذا النموذج صعب: بالنسبة لتسلسل بطولتي{\displaystyle T}، خوارزمية فيتربي المباشرة لها تعقيديا(شمال2كتي){\displaystyle O(N^{2K}\,T)}لإيجاد حل دقيق، يمكن استخدام خوارزمية شجرة الوصلات، لكنها تؤدي إلى...يا(شمالك+1كتي){\displaystyle O(N^{K+1}\,K\,T)}التعقيد. عملياً، يمكن استخدام تقنيات تقريبية، مثل الأساليب التباينية. [ 45 ]

يمكن توسيع جميع النماذج المذكورة أعلاه للسماح بوجود تبعيات أبعد بين الحالات المخفية، على سبيل المثال، السماح لحالة معينة بالاعتماد على حالتين أو ثلاث حالات سابقة بدلاً من حالة واحدة سابقة؛ أي أن احتمالات الانتقال تُوسّع لتشمل مجموعات من ثلاث أو أربع حالات متجاورة (أو بشكل عام).ك{\displaystyle K}(الولايات المجاورة). يتمثل عيب هذه النماذج في أن خوارزميات البرمجة الديناميكية المستخدمة لتدريبها لهايا(شمالكتي){\displaystyle O(N^{K}\,T)}مدة التشغيل، لـك{\displaystyle K}الولايات المجاورة وتي{\displaystyle T}إجمالي المشاهدات (أي طول-تي{\displaystyle T}سلسلة ماركوف). وقد تم استخدام هذا الامتداد على نطاق واسع في المعلوماتية الحيوية ، وفي نمذجة تسلسلات الحمض النووي .

ومن الإضافات الحديثة الأخرى نموذج ماركوف الثلاثي [ 46 ] ، الذي يُضاف فيه عملية أساسية مساعدة لنمذجة بعض خصائص البيانات. وقد طُرحت العديد من المتغيرات لهذا النموذج. وتجدر الإشارة أيضًا إلى الصلة المهمة التي أُثبتت بين نظرية الأدلة ونماذج ماركوف الثلاثية [ 47 ] ، والتي تسمح بدمج البيانات في سياق ماركوفي [ 48 ] ونمذجة البيانات غير المستقرة [49] [50]. كما طُرحت استراتيجيات بديلة لدمج البيانات متعددة التدفقات في الأدبيات الحديثة، على سبيل المثال [ 51 ].

أخيرًا، طُرح في عام 2012 [ 52 ] منطقٌ مختلفٌ لمعالجة مشكلة نمذجة البيانات غير المستقرة باستخدام نماذج ماركوف المخفية. ويتمثل هذا المنطق في استخدام شبكة عصبية متكررة صغيرة (RNN)، وتحديدًا شبكة خزان [ 53 ] ، لرصد تطور الديناميكيات الزمنية في البيانات المرصودة. تُستخدم هذه المعلومات، المُشفّرة في شكل متجه عالي الأبعاد، كمتغير شرطي لاحتمالات انتقال حالة نموذج ماركوف المخفي. في ظل هذا الإعداد، نحصل في النهاية على نموذج ماركوف مخفي غير مستقر، تتطور احتمالات انتقاله بمرور الوقت بطريقة تُستنتج من البيانات، على عكس بعض النماذج غير الواقعية والمُخصصة للتطور الزمني.

في عام 2023، طُرحت خوارزميتان مبتكرتان لنموذج ماركوف المخفي. تُمكّن هاتان الخوارزميتان من حساب التوزيع الاحتمالي اللاحق لنموذج ماركوف المخفي دون الحاجة إلى نمذجة التوزيع المشترك بشكل صريح، وذلك باستخدام التوزيعات الشرطية فقط. [ 54 ] [ 55 ] على عكس الطرق التقليدية، مثل خوارزميتي Forward-Backward وViterbi، اللتين تتطلبان معرفة قانون التوزيع المشترك لنموذج ماركوف المخفي وقد تكون عملية تعلمهما مُكلفة حسابيًا، فإن خوارزميتي Discriminative Forward-Backward وDiscriminative Viterbi تتجاوزان الحاجة إلى قانون الملاحظة. [ 56 ] [ 57 ] يُتيح هذا الإنجاز تطبيق نموذج ماركوف المخفي كنموذج تمييزي، مما يوفر نهجًا أكثر كفاءة وتنوعًا للاستفادة من نماذج ماركوف المخفية في تطبيقات متنوعة.

يُطلق على النموذج المناسب في سياق البيانات الطولية اسم نموذج ماركوف الكامن. [ 58 ] وقد تم توسيع النسخة الأساسية من هذا النموذج لتشمل المتغيرات المصاحبة الفردية، والتأثيرات العشوائية، ونمذجة هياكل بيانات أكثر تعقيدًا مثل البيانات متعددة المستويات. ويُقدّم [ 59 ] عرضًا شاملاً لنماذج ماركوف الكامنة، مع التركيز بشكل خاص على افتراضات النموذج واستخداماته العملية.

نظرية القياس

الجزء الخفي من نموذج ماركوف المخفي، الذي تكون حالاته القابلة للملاحظة غير ماركوفية

بفرض مصفوفة انتقال ماركوف وتوزيع ثابت على الحالات، يمكن فرض مقياس احتمالي على مجموعة التحولات الفرعية. على سبيل المثال، لننظر إلى سلسلة ماركوف الموضحة على اليمين على الحالاتأ،ب1،ب2{\displaystyle A,B_{1},B_{2}}، مع توزيع ثابتπ=(2/7،4/7،1/7){\displaystyle \pi =(2/7,4/7,1/7)}بتجاهل التمييز بينب1،ب2{\displaystyle B_{1},B_{2}}، يتم إسقاط مساحة التحولات الفرعية هذه علىأ،ب1،ب2{\displaystyle A,B_{1},B_{2}}إلى مساحة أخرى من التحولات الفرعيةأ،ب{\displaystyle A,B}وهذا الإسقاط يُسقط أيضًا مقياس الاحتمالية إلى مقياس احتمالية على التحولات الفرعية علىأ،ب{\displaystyle A,B}.

الأمر المثير للاهتمام هو أن مقياس الاحتمالية على التحولات الفرعية علىأ،ب{\displaystyle A,B}لا يتم إنشاؤها بواسطة سلسلة ماركوف علىأ،ب{\displaystyle A,B}ولا حتى عدة طلبات. وبشكل بديهي، يرجع ذلك إلى أنه إذا لاحظ المرء سلسلة طويلة منبن{\displaystyle B^{n}}عندها سيزداد يقين المرء بأنبرو(أ|بن)→23{\displaystyle \Pr(A\mid B^{n})\to {\frac {2}{3}}}وهذا يعني أن الجزء المرئي من النظام يمكن أن يتأثر بشيء ما حدث في الماضي البعيد. [ 60 ] [ 61 ]

وعلى العكس من ذلك، توجد مساحة من الإزاحات الفرعية على 6 رموز، مسقطة على إزاحات فرعية على رمزين، بحيث يكون لأي مقياس ماركوف على الإزاحة الفرعية الأصغر مقياس صورة عكسية ليس ماركوف من أي رتبة (مثال 2.6 [ 61 ] ).

انظر أيضاً

مراجع

  1. ↑ "Google Scholar" .
  2. ↑ ثاد ستارنر، أليكس بنتلاند. التعرف البصري الفوري على لغة الإشارة الأمريكية من الفيديو باستخدام نماذج ماركوف المخفية . رسالة ماجستير، معهد ماساتشوستس للتكنولوجيا، فبراير 1995، برنامج فنون الإعلام
  3. ↑ باردو، ب.؛ برمنغهام، و. (يوليو 2005). نمذجة شكل المتابعة الإلكترونية للعروض الموسيقية (ملف PDF) . وقائع مؤتمر AAAI-05. مؤرشف من الأصل (ملف PDF) بتاريخ 2012-02-06.
  4. ↑ ساتيش إل، جوروراج بي آي (أبريل 2003). " استخدام نماذج ماركوف المخفية لتصنيف أنماط التفريغ الجزئي ". معاملات IEEE في العوازل الكهربائية والعزل الكهربائي .
  5. ↑ لي، ن؛ ستيفنز، م (ديسمبر 2003). "نمذجة عدم التوازن الارتباطي وتحديد نقاط إعادة التركيب باستخدام بيانات تعدد أشكال النوكليوتيدات المفردة" . علم الوراثة . 165 (4): 2213-33 . doi : 10.1093/genetics/165.4.2213 . PMC 1462870. PMID 14704198 .  
  6. ↑ إرنست، جيسون؛ كيليس، مانوليس (مارس 2012). "ChromHMM: أتمتة اكتشاف حالة الكروماتين وتوصيفها" . Nature Methods . 9 (3): 215–216 . doi : 10.1038/nmeth.1906 . PMC 3577932. PMID 22373907 .  
  7. ↑ لورانس ر. رابينر (فبراير 1989). "دليل تعليمي حول نماذج ماركوف المخفية وتطبيقات مختارة في التعرف على الكلام" (ملف PDF) . وقائع معهد مهندسي الكهرباء والإلكترونيات . 77 (2): 257-286 . CiteSeerX 10.1.1.381.3454 . doi : 10.1109/5.18626 . S2CID 13618539 .  
  8. ↑ نيوبيرغ، لي أ. (2009). " إحصائيات الخطأ لنتائج نموذج ماركوف المخفي ونموذج بولتزمان المخفي" . بي إم سي بيوانفورماتيكس . 10 212. doi : 10.1186/1471-2105-10-212 . PMC 2722652. PMID 19589158 .  أيقونة الوصول المفتوح
  9. ↑ سيبوس، آي. روبرت. أخذ عينات متوازية طبقية باستخدام خوارزمية ماركوف مونت كارلو المتسلسلة (MCMC) لنماذج ماركوف المخفية ذاتية الانحدار (AR-HMMs) للتنبؤ بالسلاسل الزمنية العشوائية . في: وقائع المؤتمر الدولي الرابع لتقنيات النمذجة العشوائية وتحليل البيانات مع ورشة عمل حول التركيبة السكانية (SMTDA2016)، الصفحات 295-306. فاليتا، 2016. ملف PDF
  10. ↑ تشاتزيس، سوتيريوس ب.؛ كوسموبولوس، ديميتريوس إ. (2011). "منهجية بايزية متغيرة لنماذج ماركوف المخفية باستخدام مزيج توزيعات t للطالب" (ملف PDF) . التعرف على الأنماط . 44 (2): 295-306 . Bibcode : 2011PatRe..44..295C . CiteSeerX 10.1.1.629.6275 . doi : 10.1016/j.patcog.2010.09.001 . مؤرشف من النسخة الأصلية (PDF) بتاريخ 1 أبريل 2011. تم الاطلاع عليه بتاريخ 11 مارس 2018 . 
  11. ^ سيبوس، آي. روبرت؛ سيفر أتيلا. ليفندوفسزكي، يانوس (2016). “التحسين المتوازي للحافظات المتفرقة باستخدام AR-HMMs”. الاقتصاد الحاسوبي . 49 (4): 563-578 . دوى : 10.1007 / s10614-016-9579-y . S2CID 61882456 . 
  12. ↑ بيتروبولوس، أناستاسيوس؛ تشاتزيس، سوتيريوس ب.؛ زانثوبولوس، ستيليانوس (2016). "نظام جديد لتصنيف الائتمان المؤسسي قائم على نماذج ماركوف المخفية من نوع Student's-t". أنظمة الخبراء وتطبيقاتها . 53 : 87-105 . doi : 10.1016/j.eswa.2016.01.015 .
  13. ↑ نيكولاي، كريستوفر (2013). "حل حركية قنوات الأيونات باستخدام برنامج QuB". مراجعات ورسائل الفيزياء الحيوية . 8 (3n04): 191-211 . doi : 10.1142/S1793048013300053 .
  14. ↑ هيغينز، كاميرون؛ فيداوري، دييغو؛ كولينغ، نيلز؛ ليو، يونزهي؛ بيرنز، تيم؛ وولريتش، مارك (2022). "تحليل الأنماط متعددة المتغيرات المكانية والزمانية لتخطيط الدماغ المغناطيسي/الكهربائي" . رسم خرائط الدماغ البشري . 43 (10): 3062-3085 . doi : 10.1002/hbm.25835 . PMC 9188977. PMID 35302683 .  
  15. ↑ ديوميدي، س.؛ فاكاري، ف. إ.؛ غاليتي، س.؛ هادجيديميتراكيس، ك.؛ فاتوري، ب. (2021-10-01). " ديناميكيات عصبية شبيهة بالحركة في منطقتين جداريتين أثناء مد الذراع" . التقدم في علم الأحياء العصبي . 205 102116. doi : 10.1016/j.pneurobio.2021.102116 . hdl : 11585/834094 . ISSN 0301-0082 . PMID 34217822. S2CID 235703641 .   
  16. ↑ دومينغوس ، بيدرو (2015). الخوارزمية الرئيسية: كيف سيعيد البحث عن آلة التعلم المثالية تشكيل عالمنا . دار بيسيك بوكس. ص 37. ISBN  978-0-465-06192-1.
  17. ^ كوندو، أملان، يانغ هي، وبارامفير باهل. " التعرف على الكلمات المكتوبة بخط اليد: النهج القائم على نموذج ماركوف المخفي من الدرجة الأولى والثانية"التعرف على الأنماط 22.3 (1989): 283-297".
  18. ↑ ستيجلر، ج.؛ زيجلر، ف.؛ جيسيك، أ.؛ جيبهاردت، ج.س.م.؛ ريف، م. (2011). " شبكة الطي المعقدة لجزيئات الكالمودولين المفردة" . مجلة ساينس . 334 (6055): 512-516 . Bibcode : 2011Sci...334..512S . doi : 10.1126/science.1207598 . PMID 22034433. S2CID 5502662 .  
  19. ↑ بلاسياك، س.؛ رانغوالا، هـ. (2011). "نموذج ماركوف المخفي المتغير لتصنيف التسلسلات". وقائع المؤتمر الدولي المشترك حول الذكاء الاصطناعي . 22 : 1192.
  20. ↑ وونغ، و.؛ ستامب، م. (2006). "البحث عن محركات التحول". مجلة علم الفيروسات الحاسوبية . 2 (3): 211-229 . doi : 10.1007/s11416-006-0028-7 . S2CID 8116065 . 
  21. ↑ وونغ، ك. -س.؛ تشان، ت. -م.؛ بينغ، س.؛ لي، ي.؛ تشانغ، ز. (2013). "تحديد أنماط الحمض النووي باستخدام نشر الاعتقاد" . مجلة أبحاث الأحماض النووية . 41 (16): e153. doi : 10.1093 / nar/gkt574 . PMC 3763557. PMID 23814189 .  
  22. ↑ شاه، شالين؛ دوبي، أبهيشيك ك.؛ ريف، جون (17 مايو 2019). "تحسين التعدد الضوئي باستخدام الباركودات الزمنية للحمض النووي". مجلة ACS للبيولوجيا التركيبية . 8 (5): 1100-1111 . doi : 10.1021/acssynbio.9b00010 . PMID 30951289. S2CID 96448257 .  
  23. ↑ شاه، شالين؛ دوبي، أبهيشيك ك.؛ ريف، جون (10 أبريل 2019). "برمجة الباركودات الزمنية للحمض النووي لبصمة الجزيء المفرد". رسائل نانو . 19 (4): 2668-2673 . Bibcode : 2019NanoL..19.2668S . doi : 10.1021/acs.nanolett.9b00590 . ISSN 1530-6984 . PMID 30896178. S2CID 84841635 .   
  24. ↑ "ChromHMM: اكتشاف حالة الكروماتين وتوصيفها" . compbio.mit.edu . تم الاطلاع عليه بتاريخ 1 أغسطس 2018 .
  25. ↑ الزروي، فراز (مايو 2011). "نمذجة وتوقع تطور التفضيلات بمرور الوقت: نموذج ماركوف المخفي لسلوك السفر". arXiv : 1707.09133 [ stat.AP ].
  26. ↑ مورف، هـ. (فبراير 1998). "نموذج الإشعاع الشمسي ثنائي الحالة العشوائي (STSIM)". الطاقة الشمسية . 62 (2): 101-112 . Bibcode : 1998SoEn...62..101M . doi : 10.1016/S0038-092X(98)00004-8 .
  27. ↑ مونكهامر، ج.؛ ويدين، ج. (أغسطس 2018). "نهج مزيج توزيع احتمالي لسلسلة ماركوف لمؤشر السماء الصافية". الطاقة الشمسية . 170 : 174-183 . Bibcode : 2018SoEn..170..174M . doi : 10.1016/j.solener.2018.05.055 . S2CID 125867684 . 
  28. ↑ مونكهامر، ج.؛ ويدين، ج. (أكتوبر 2018). "نموذج توزيع خليط سلسلة ماركوف ذي N حالة لمؤشر السماء الصافية". الطاقة الشمسية . 173 : 487-495 . Bibcode : 2018SoEn..173..487M . doi : 10.1016/j.solener.2018.07.056 . S2CID 125538244 . 
  29. ↑ باوم، إل إي؛ بيتري، تي. (1966). "الاستدلال الإحصائي للدوال الاحتمالية لسلاسل ماركوف ذات الحالات المحدودة" . حوليات الإحصاء الرياضي . 37 (6): 1554-1563 . doi : 10.1214/aoms/1177699147 .
  30. ↑ باوم، ل. إي.؛ إيغون، ج. أ. (1967). "متباينة مع تطبيقات على التقدير الإحصائي للدوال الاحتمالية لعمليات ماركوف ونموذج لعلم البيئة" . نشرة الجمعية الرياضية الأمريكية . 73 (3): 360. doi : 10.1090/S0002-9904-1967-11751-8 . Zbl 0157.11101 . 
  31. ↑ باوم، إل إي؛ سيل، جي آر (1968). "تحويلات النمو للدوال على المشعبات" . مجلة المحيط الهادئ للرياضيات . 27 (2): 211-227 . doi : 10.2140/pjm.1968.27.211 .
  32. ↑ باوم، ل. إي .؛ بيتري، ت.؛ سوليس، ج.؛ فايس، ن. (1970). " تقنية تعظيم تظهر في التحليل الإحصائي للدوال الاحتمالية لسلاسل ماركوف" . حوليات الإحصاء الرياضي . 41 (1): 164-171 . doi : 10.1214/aoms/1177697196 . JSTOR 2239727. MR 0287613. Zbl 0188.49603 .   
  33. ↑ باوم، ل. إي. (1972). "متباينة وتقنية تعظيم مرتبطة بها في التقدير الإحصائي للدوال الاحتمالية لعملية ماركوف". المتباينات . 3 : 1-8 .
  34. ↑ بيكر، ج. (1975). "نظام دراغون - نظرة عامة". معاملات IEEE في الصوتيات والكلام ومعالجة الإشارات . 23 : 24-29 . doi : 10.1109/TASSP.1975.1162650 .
  35. ↑ جيلينك، ف.؛ باهل، ل.؛ ميرسر، ر. (1975). "تصميم مُفكِّك إحصائي لغوي للتعرف على الكلام المتصل". معاملات IEEE في نظرية المعلومات . 21 (3): 250. doi : 10.1109/TIT.1975.1055384 .
  36. ↑ شيودونغ هوانغ ؛ إم. جاك؛ واي. أريكي (1990). نماذج ماركوف المخفية للتعرف على الكلام . مطبعة جامعة إدنبرة. ISBN 978-0-7486-0162-2.
  37. ↑ شيودونغ هوانغ ؛ أليكس أسيرو؛ هسياو-وين هون (2001). معالجة اللغة المنطوقة . برنتيس هول. ISBN 978-0-13-022616-7.
  38. ↑ كاراسكو، رافائيل سي؛ أونسينا، خوسيه (1994). "تعلم القواعد النحوية المنتظمة العشوائية باستخدام طريقة دمج الحالات" . في: كاراسكو، رافائيل سي؛ أونسينا، خوسيه (محرران). الاستدلال النحوي وتطبيقاته . سلسلة محاضرات في علوم الحاسوب. المجلد 862. برلين، هايدلبرغ: سبرينغر. الصفحات 139-152 . doi : 10.1007/3-540-58473-0_144 . ISBN   978-3-540-48985-6.
  39. ↑ م. بيشوب وإ. طومسون (1986). "محاذاة تسلسلات الحمض النووي باستخدام طريقة الاحتمال الأقصى" . مجلة البيولوجيا الجزيئية . 190 (2): 159-165 . doi : 10.1016/0022-2836(86)90289-5 . PMID 3641921 . (الاشتراك مطلوب)رمز الوصول المغلق
  40. ↑ دوربين، ريتشارد م .؛ إيدي، شون ر .؛ كروغ، أندرس ؛ ميتشيسون، غرايم (1998)، تحليل التسلسل البيولوجي: نماذج احتمالية للبروتينات والأحماض النووية ( الطبعة الأولى)، كامبريدج، نيويورك: مطبعة جامعة كامبريدج ، ISBN  0-521-62971-3، OCLC 593254083 
  41. ↑ غاسيات، إي.؛ كلاينن، أ.؛ روبن، س. (2016-01-01). "الاستدلال في نماذج ماركوف المخفية غير البارامترية ذات فضاء الحالة المحدود وتطبيقاتها". الإحصاء والحوسبة . 26 (1): 61-71 . doi : 10.1007/s11222-014-9523-8 . ISSN 1573-1375 . 
  42. ↑ أبراهام، كويكو؛ غاسيات، إليزابيث؛ نوليت، زكريا (مارس 2023). "الحدود الأساسية لتعلم معلمات نموذج ماركوف المخفي". معاملات IEEE في نظرية المعلومات . 69 (3): 1777-1794 . arXiv : 2106.12936 . Bibcode : 2023ITIT...69.1777A . doi : 10.1109/TIT.2022.3213429 . ISSN 0018-9448 . 
  43. ↑ بيال، ماثيو جيه، زوبين غهراماني، وكارل إدوارد راسموسن. "نموذج ماركوف المخفي اللانهائي". التقدم في أنظمة معالجة المعلومات العصبية 14 (2002): 577-584.
  44. ↑ Teh, Yee Whye, et al. "Hierarchical dirichlet processes." Journal of the American Statistical Association 101.476 (2006).
  45. ↑ غهراماني، زوبين ؛ جوردان، مايكل آي. (1997). "نماذج ماركوف المخفية العاملية" . تعلم الآلة . 29 (2/3): 245-273 . doi : 10.1023/A:1007425814087 .
  46. ^ بيكزينسكي، فويتشخ (2002). "Chaı̂nes de Markov Triplet" (PDF) . Comptes Rendus Mathématique . 335 (3): 275-278 . دوى : 10.1016 / S1631-073X(02)02462-7 .
  47. ↑ بيتشينسكي، فويتش (2007). "سلاسل ماركوف الثلاثية متعددة المستشعرات ونظرية الأدلة" . المجلة الدولية للاستدلال التقريبي . 45 : 1-16 . doi : 10.1016/j.ijar.2006.05.001 .
  48. ↑ بودارين، م.ي.؛ مونفريني، إ.؛ بيتشينسكي، و.؛ عيساني، أ. (2012). "دمج دمبستر-شافر لإشارات متعددة المستشعرات في سياق ماركوفي غير مستقر" (ملف PDF) . مجلة EURASIP للتطورات في معالجة الإشارات (134). مؤرشف من الأصل (ملف PDF) بتاريخ 11 مارس 2014.
  49. ↑ Lanchantin et al. , P. Lanchantin and W. Pieczynski, Unsupervised restore of hidden non-stationary Markov chain using evidenceial priors, IEEE Transactions on Signal Processing, Vol. 53, No. 8, pp. 3091-3098, 2005.
  50. ↑ بودارين، إم واي؛ مونفريني، إي؛ بيتشينسكي، دبليو. (أكتوبر 2012). "التجزئة غير الخاضعة للإشراف للبيانات المنفصلة العشوائية المخفية بتوزيعات ضوضاء متغيرة" . رسائل معالجة الإشارات IEEE . 19 (10): 619-622 . doi : 10.1109/LSP.2012.2209639 .
  51. ↑ Sotirios P. Chatzis, Dimitrios Kosmopoulos, "التعرف على سير العمل المرئي باستخدام معالجة بايزية متغيرة لنماذج ماركوف المخفية المدمجة متعددة التدفقات"، معاملات IEEE للدوائر والأنظمة لتكنولوجيا الفيديو، المجلد 22، العدد 7، الصفحات 1076-1086، يوليو 2012.
  52. ↑ تشاتزيس، سوتيريوس ب.؛ ديميريس، يانيس (2012). "نموذج ماركوف مخفي غير مستقر مدفوع بالخزان". التعرف على الأنماط . 45 (11): 3985-3996 . Bibcode : 2012PatRe..45.3985C . doi : 10.1016/j.patcog.2012.04.018 . hdl : 10044/1/12611 .
  53. ↑ M. Lukosevicius, H. Jaeger (2009) Reservoir computing approaches to recurrent neural network training, Computer Science Review 3 : 127–149.
  54. ↑ أزيراف، إي.، مونفريني، إي.، وبيتشينسكي، دبليو. (2023). التكافؤ بين LC-CRF وHMM، والحوسبة التمييزية لـ MPM وMAP القائمة على HMM. الخوارزميات، 16(3)، 173.
  55. ↑ أزيراف، إي.، مونفريني، إي.، فينيون، إي.، وبيتشينسكي، دبليو. (2020). سلاسل ماركوف المخفية، والتقدم والتراجع الانتروبي، ووسم أجزاء الكلام. نسخة ما قبل النشر arXiv:2005.10629.
  56. ↑ أزيراف، إي.، مونفريني، إي.، وبيتشينسكي، دبليو. (2022). استخلاص المصنفات التمييزية من النماذج التوليدية. نسخة ما قبل النشر arXiv:2201.00844.
  57. ↑ نغ، أ.، وجوردان، م. (2001). حول المصنفات التمييزية مقابل المصنفات التوليدية: مقارنة بين الانحدار اللوجستي وخوارزمية بايز البسيطة. التطورات في أنظمة معالجة المعلومات العصبية، 14.
  58. ↑ ويغينز، إل إم (1973). تحليل اللوحات: نماذج الاحتمالية الكامنة لعمليات المواقف والسلوك . أمستردام: إلسيفير.
  59. ↑ بارتولوتشي، ف.؛ فاركوميني، أ.؛ بينوني، ف. (2013). نماذج ماركوف الكامنة للبيانات الطولية . بوكا راتون: تشابمان آند هول/سي آر سي. رقم ISBN 978-14-3981-708-7.
  60. ↑ مقاييس سوفيك: توصيفات سلاسل ماركوف المخفية بواسطة الجبر الخطي واللغات الرسمية والديناميات الرمزية - كارل بيترسن، الرياضيات 210، ربيع 2006، جامعة نورث كارولينا في تشابل هيل
  61. 1 2 بويل، مايك؛ بيترسن، كارل (2010-01-13)، عمليات ماركوف المخفية في سياق الديناميكيات الرمزية ، arXiv : 0907.1858

المفاهيم