Chaîne de Markov dans un espace d'états fini

Bonjour,

Lorsque l'on parle de "the stationary measure $\pi$", c'est que: $\:\: \text{Ker}\mathrm (I-P^*) = \{ c\pi \mid c \in \R\}.$

Ainsi $\text{Rg} (\mathrm I-P)=\text{Rg}(\mathrm I-P^*) = n-1, \quad \text{Dim} \left (\text{Im}(\mathrm I-P)\right)^{\perp} =\text{Dim}\:\text{Ker}\mathrm (I-P^*) =1.$

Pour répondre à ta question, il suffit donc de vérifier que $\pi \in \left (\text{Im}(\mathrm I-P)\right)^{\perp}.\quad$ Soit $x =(\mathrm I-P)(y) \in\text{Im}(\mathrm I-P).$

$\langle \pi \mid x \rangle =\displaystyle \sum_{i=1}^r \pi_ix_i = \sum_{i=1}^r\pi_i\left( y_i - \sum_{j=1}^r p_{ij} y_j\right) =\sum_{i=1}^r \pi_iy_i- \sum_{j=1}^r y_j\sum _{i=1} ^r p_{ij}\pi_i=\sum_{i=1}^r \pi_iy_i- \sum_{j=1}^r \pi_jy_j=0\:\: \square$

Remarque: Ce qui précède montre également que, quelle que soit la dimension de $\text{Ker}(\mathrm I-P^*),$ l'égalité  $\text{Ker}(\mathrm I-P^*) =\left(\text{Im}(\mathrm I-P)\right)^{\perp} $ est réalisée. Ces deux espaces ont en effet  la même dimension et l'inclusion du premier dans le second est établie par la dernière ligne de calcul, ce qui relève en fait du principe plus général: $\quad \forall x,y \in \mathbb K^n, \quad \forall A \in \mathcal M_n(\mathbb K), \quad \langle x\mid Ay \rangle = \langle A^*x \mid y \rangle.$