Chaine de Markov

vince3001

Bonjour,

Voici la matrice de transition d'une chaine de Markov :
$$\left(\begin{array}{ccccc}0&0&0.5&0.5&0\\
0.5&0&0.5&0&0\\
0.5&0&0&0.5&0\\
0&0.5&0&0&0.5\\
0&0&0&0&1\end{array}\right)$$
L'ensemble des états étant $E=\{1,4,5,7,9\}$

Je cherche à calculer la probabilité partant de 5 d'atteindre 9 sans passer par 1.
Je n'arrive pas à formaliser cette question, pourriez-vous m'y aider ?

Merci de votre collaboration

AD

Bonsoir Vince
Si je comprends bien, la somme des probabilité sur chaque ligne fait 1
En appelant $A,B,C,D,E$ les états de ton automate (que tu appèles respectivement $1,4,5,7,9$) : $$
\bordermatrix {
\nearrow&A&B&C&D&E \cr
A&0&0&0.5&0.5&0 \cr
B&0.5&0&0.5&0&0 \cr
C&0.5&0&0&0.5&0 \cr
D&0&0.5&0&0&0.5 \cr
E&0&0&0&0&1 \cr}$$ Cela correspond à l'automate : $$\xymatrix {
A \ar[rr]^{\frac 1 2} \ar@/^/[rrd]^{\frac 1 2} && D \ar[dll]^{\frac 1 2} \ar[rr]^{\frac 1 2} && E \ar@(ur,dr)[]^{1} \\
B \ar[rul]^{\frac 1 2} \ar[rr]_{\frac 1 2} && C \ar@/^/[ull]^{\frac 1 2} \ar[lur]_{\frac 1 2} }$$
Tu remarques que partant de $C\ (=5)$ pour aller en $E\ (=9)$, puisque tu ne dois pas passer par $A\ (=1)$, tu dois donc aller en $D\ (=7)$ probabilité : $\frac 1 2$
En $D$ tu peux aller en $E$ (prob : $\frac 1 2$) et c'est fini
ou tu peux aller en $B\ (=4)$ (prob : $\frac 1 2$) puis en $C$ (prob : $\frac 1 2$) puis retourner en $D$ (prob : $\frac 1 2$)
Tes chemins possibles seront $CDE$ (prob : $\frac 1 2.\frac 1 2 = \frac 1 4$)
$CDBCDE$ (prob : $\frac 1 2.(\frac 1 2 )^3.\frac 1 2= \frac 1 4.\frac 1 8$)
$CD(BCD)^nE$ (prob : $\frac 1 2.(\frac 1 2 )^{3n}.\frac 1 2= \frac 1 4.\frac 1 {8^n}$) parce qu'on peut tourner $n$ fois dans la boucle $DBCD$
Comme tous ces chemins sont exclusifs les uns des autres, la probabilité pour aller de $C$ vers $E$ sera (sauf erreur)
$\frac 1 2.\Big( \sum\limits_{n=0}^\infty (\frac 1 2)^3\Big) . \frac 1 2 = \frac 1 4 . \dfrac 1{1-\frac 1 8} = \dfrac 2 7$

Alain

aléa

Si c'est juste pour formaliser : $\mathbb{P}^5(T^9<T^1)$
Comme hier, on peut résoudre avec Markov (first step analysis, comme disent les anglophones)

vince3001

Merci à vous deux !

raphayel

Bonjour

Un petit conseil: s'il faut à tout prix éviter l'état $A$, tu peux modifier ta chaine en transformant $A$ en cimetière (qui boucle sur lui-même), et étudier $\mathbb{P}(T_E}<\infty)$. (il y a un tout petit système d'équation à écrire, voir par exemple le Norris). C'est probablement la même chose que ce que dit aléa.