سلسلة ماركوف ذات الزمن المستمر

يترك${\displaystyle P}$ليكن الحل (الوحيد) للنظام ( 0 ). (يضمن افتراضنا أن التفرد هو${\displaystyle Q}$(منتظم). نقول${\displaystyle X}$هي دالة ماركوف ذات توزيع أولي${\displaystyle \lambda }$ومصفوفة المعدل${\displaystyle Q}$بمعنى: لأي عدد صحيح غير سالب${\displaystyle n\geq 0}$للجميع${\displaystyle t_{0},\dots ,t_{n+1}\in T}$بحيث${\displaystyle t_{0}<\dots <t_{n+1},}$للجميع${\displaystyle i_{0},\dots ,i_{n+1}\in I,}$

${\displaystyle \Pr(X_{0}=i_{0},\dots ,X_{t_{n+1}}=i_{n+1})=\lambda _{i_{0}}\prod _{k\in \mathbb {Z} :0\leq k\leq n}P(t_{k+1}-t_{k})_{i_{k},i_{k+1}}}$[ 10 ]​

1

باستخدام الاستقراء وحقيقة أن${\displaystyle \forall A,B\in {\cal {A}}~~\Pr(B)\neq 0\rightarrow \Pr(A\cap B)=\Pr(A\mid B)\Pr(B),}$يمكننا إثبات تكافؤ العبارة السابقة التي تحتوي على ( 1 ) مع العبارة التالية: لكل${\displaystyle i\in I,~\Pr(X_{0}=i)=\lambda _{i}}$ولأي عدد صحيح غير سالب${\displaystyle n\geq 0}$للجميع${\displaystyle t_{0},\dots ,t_{n+1}\in T}$بحيث${\displaystyle t_{0}<\dots <t_{n+1},}$للجميع${\displaystyle i_{0},\dots ,i_{n+1}\in I}$بحيث${\displaystyle 0<\Pr(X_{0}=i_{0},\dots ,X_{t_{n}}=i_{n})}$(ويترتب على ذلك أن${\displaystyle 0<\Pr(X_{t_{n}}=i_{n})}$)

${\displaystyle \Pr(X_{t_{n+1}}=i_{n+1}\mid X_{t_{n}}=i_{n},\dots ,X_{t_{0}}=i_{0})=P(t_{n+1}-t_{n})_{i_{n},i_{n+1}}.}$

2

وينتج ذلك عن استمرارية الدوال${\displaystyle (P(t)_{i,j})_{t\in T}}$(${\displaystyle i,j\in S}$) أن المسار${\displaystyle (X_{t}(\omega ))_{t\in T}}$من شبه المؤكد أنها متصلة من اليمين (بالنسبة للمقياس المنفصل على${\displaystyle S}$): يوجد${\displaystyle \Pr }$- مجموعة فارغة${\displaystyle N}$بحيث${\displaystyle \{\omega \in \Omega$ :(X_{t}(\omega ))_{t\in T}{\text{ متصلة من اليمين}}\}\subseteq N} . ^{[ 13 ]}

نقول${\displaystyle X}$هي دالة ماركوف ذات توزيع أولي${\displaystyle \lambda }$ومصفوفة المعدل${\displaystyle Q}$بمعنى: للجميع${\displaystyle i\in S,}$${\displaystyle \Pr(X(0)=i)=\lambda _{i}}$وللجميع${\displaystyle i,j}$للجميع${\displaystyle t}$وبالنسبة للقيم الموجبة الصغيرة تمامًا لـ${\displaystyle h}$ينطبق ما يلي على الجميع${\displaystyle t\in T}$بحيث${\displaystyle 0<\Pr(X(t)=i)}$:

${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=[i=j]+q_{i,j}h+o(h)}$،

حيث المصطلح${\displaystyle [i=j]}$يكون${\displaystyle 1}$لو${\displaystyle i=j}$وغير ذلك${\displaystyle 0}$ومصطلح حرف الواو الصغير${\displaystyle o(h)}$يعتمد ذلك بطريقة معينة على${\displaystyle i,j,h}$[ ^{15 ] [ 16 ]​}

توضح المعادلة أعلاه أن${\displaystyle q_{i,j}}$يمكن اعتبارها مقياسًا لمدى سرعة الانتقال من${\displaystyle i}$ل${\displaystyle j}$يحدث لـ${\displaystyle i\neq j}$ومدى سرعة الانتقال من${\displaystyle i}$يحدث لـ${\displaystyle i=j}$.

يتم تعريف فئات الاتصال، والزوال، والتكرار، والتكرار الإيجابي والتكرار الصفري بشكل مطابق كما هو الحال بالنسبة لسلاسل ماركوف ذات الوقت المنفصل .

اكتب P( t ) للمصفوفة ذات العناصر p _{_ij} = P( X _{_t  = j} | X _{₀ = i} ). عندئذٍ، تحقق المصفوفة P( t ) المعادلة المباشرة، وهي معادلة تفاضلية من الدرجة الأولى.     

${\displaystyle P'(t)=P(t)Q}$،

حيث تشير العلامة (') إلى التفاضل بالنسبة إلى t . ويُعطى حل هذه المعادلة بواسطة دالة أسية مصفوفية.

${\displaystyle P(t)=e^{tQ}}$.

في حالة بسيطة مثل سلسلة ماركوف المستمرة الزمنية (CTMC) على فضاء الحالة {1,2}، تكون مصفوفة Q العامة لمثل هذه العملية هي المصفوفة 2  ×  2 التالية حيث α و β  >  0

${\displaystyle Q={\begin{pmatrix}-\alpha &\alpha \\\beta &-\beta \end{pmatrix}}.}$

يمكن حل العلاقة المذكورة أعلاه لمصفوفة التوجيه بشكل صريح في هذه الحالة للحصول على

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$.

يُعدّ حساب الحلول المباشرة أمرًا معقدًا في المصفوفات الكبيرة. وحقيقة أن Q هي مولد شبه مجموعة من المصفوفات

${\displaystyle P(t+s)=e^{(t+s)Q}=e^{tQ}e^{sQ}=P(t)P(s)}$

يتم استخدامه.

التوزيع الثابت هو توزيع${\displaystyle \pi }$تلك نقطة ثابتة لمصفوفة معدل الانتقال،${\displaystyle Q(\pi )=\pi }$لاحظ أنه بالنسبة للعملية ذات الحالتين التي تم تناولها سابقًا مع P( t ) المعطاة بواسطة

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$،

عندما يقترب t  من اللانهاية ،  يميل التوزيع إلى

${\displaystyle P_{\pi }={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\\{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\end{pmatrix}}}$.

لاحظ أن لكل صف نفس التوزيع، لأن هذا لا يعتمد على الحالة الابتدائية. يمكن إيجاد متجه الصف π عن طريق حل

${\displaystyle \pi Q=0}$

مع مراعاة القيد

${\displaystyle \sum _{i\in S}\pi _{i}=1}$.

المثال 1

تصف الصورة الموجودة على اليمين سلسلة ماركوف ذات زمن مستمر مع فضاء حالة {سوق صاعدة، سوق هابطة، سوق راكدة} ومصفوفة معدل الانتقال

${\displaystyle Q={\begin{pmatrix}-0.025&0.02&0.005\\0.3&-0.5&0.2\\0.02&0.4&-0.42\end{pmatrix}}.}$

يمكن إيجاد التوزيع الثابت لهذه السلسلة عن طريق حل${\displaystyle \pi Q=0}$، مع مراعاة القيد الذي ينص على أن مجموع العناصر يجب أن يساوي 1 للحصول على

${\displaystyle \pi ={\begin{pmatrix}0.885&0.071&0.044\end{pmatrix}}.}$

المثال 2

تُظهر الصورة على اليمين نموذجًا لسلسلة ماركوف منفصلة الزمن للعبة باك مان، مع فضاء حالات {1، 2، 3، 4، 5، 6، 7، 8، 9}. يتحكم اللاعب بباك مان في متاهة، ويأكل نقاط باك. في الوقت نفسه، تطارده الأشباح. ولتسهيل الأمر، ستكون المتاهة عبارة عن شبكة صغيرة 3×3، وتتحرك الأشباح عشوائيًا في الاتجاهين الأفقي والرأسي. يمكن استخدام ممر سري بين الحالتين 2 و8 في كلا الاتجاهين. تُحذف المدخلات ذات الاحتمالية الصفرية من مصفوفة معدل الانتقال التالية:

${\displaystyle Q={\begin{pmatrix}-1&{\frac {1}{2}}&&{\frac {1}{2}}\\{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}&&&{\frac {1}{4}}\\&{\frac {1}{2}}&-1&&&{\frac {1}{2}}\\{\frac {1}{3}}&&&-1&{\frac {1}{3}}&&{\frac {1}{3}}\\&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}\\&&{\frac {1}{3}}&&{\frac {1}{3}}&-1&&&{\frac {1}{3}}\\&&&{\frac {1}{2}}&&&-1&{\frac {1}{2}}\\&{\frac {1}{4}}&&&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}\\&&&&&{\frac {1}{2}}&&{\frac {1}{2}}&-1\end{pmatrix}}}$

سلسلة ماركوف هذه غير قابلة للاختزال، لأن الأشباح تستطيع الانتقال من أي حالة إلى أي حالة أخرى خلال فترة زمنية محدودة. وبسبب الممر السري، فإن سلسلة ماركوف غير دورية أيضًا، لأن الأشباح تستطيع الانتقال من أي حالة إلى أي حالة أخرى سواءً بعدد زوجي أو فردي من انتقالات الحالة. لذلك، يوجد توزيع ثابت فريد يمكن إيجاده بحل المعادلة.${\displaystyle \pi Q=0}$مع مراعاة الشرط الذي ينص على أن مجموع عناصر المصفوفة يجب أن يساوي 1. حل هذه المعادلة الخطية مع مراعاة هذا الشرط هو${\displaystyle \pi =(7.7,15.4,7.7,11.5,15.4,11.5,7.7,15.4,7.7)\%.}$ تُزار الولاية المركزية والولايتان الحدوديتان 2 و8 من الممر السري المجاور أكثر من غيرها، بينما تُزار الولايات الركنية أقل من غيرها.

بالنسبة لـ CTMC X _t ، تُعرَّف العملية المعكوسة زمنيًا على النحو التالي:${\displaystyle {\hat {X}}_{t}=X_{T-t}}$. وفقًا لفرضية كيلي، فإن هذه العملية لها نفس التوزيع الثابت مثل العملية الأمامية.

تُعتبر السلسلة قابلة للانعكاس إذا كانت العملية المعكوسة هي نفسها العملية الأمامية. وينص معيار كولموغوروف على أن الشرط اللازم والكافي لكي تكون العملية قابلة للانعكاس هو أن يكون حاصل ضرب معدلات الانتقال حول حلقة مغلقة متساوياً في كلا الاتجاهين.

إحدى طرق إيجاد التوزيع الاحتمالي الثابت ، π ، لسلسلة ماركوف متصلة الزمن إرجودية ، Q ، هي إيجاد سلسلة ماركوف المضمنة (EMC) أولاً . وبالمعنى الدقيق، فإن سلسلة ماركوف المضمنة هي سلسلة ماركوف منتظمة منفصلة الزمن. يُرمز لكل عنصر من عناصر مصفوفة احتمالية الانتقال بخطوة واحدة لسلسلة ماركوف المضمنة، S ، بالرمز s _{_ij} ، ويمثل الاحتمال الشرطي للانتقال من الحالة i إلى الحالة j . ويمكن إيجاد هذه الاحتمالات الشرطية عن طريق

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j,\\0&{\text{otherwise}}.\end{cases}}}$

ومن هذا، يمكن كتابة S على النحو التالي

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

حيث I هي مصفوفة الوحدة و diag( Q ) هي المصفوفة القطرية التي تم تشكيلها عن طريق تحديد القطر الرئيسي من المصفوفة Q وتعيين جميع العناصر الأخرى إلى الصفر.

لإيجاد متجه توزيع الاحتمال الثابت، يجب علينا بعد ذلك إيجاد${\displaystyle \varphi }$بحيث

${\displaystyle \varphi S=\varphi ,}$

مع${\displaystyle \varphi }$كونه متجه صف، بحيث تكون جميع العناصر في${\displaystyle \varphi }$أكبر من صفر و${\displaystyle \|\varphi \|_{1}}$= 1. ومن هذا، يمكن إيجاد قيمة π على النحو التالي:

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

( قد تكون S دورية، حتى لو لم تكن Q كذلك. بمجرد إيجاد π ، ​​يجب تطبيعها إلى متجه وحدة .)

من العمليات الأخرى ذات الزمن المتقطع التي يمكن اشتقاقها من سلسلة ماركوف ذات الزمن المستمر، هيكل دلتا (δ-skeleton ) - وهي سلسلة ماركوف (ذات الزمن المتقطع) تتشكل من خلال رصد X ( t ) على فترات زمنية مقدارها δ وحدة زمنية. وتمثل المتغيرات العشوائية X (0)، X (δ)، X (2δ)، ... سلسلة الحالات التي يمر بها هيكل دلتا.