Les applications $B:\ker(I-AB)\to\ker(I-BA)$ et $A:\ker(I-BA)\to\ker(I-AB)$ sont des bijections réciproques l'une de l'autre donc $I-AB$ et $I-BA$ ont même rang.
De plus, $\ker A\subset \mathrm{Im}(I-BA)$ car $\forall x$, $Ax=0\implies x=(I-BA)x$. On en déduit que $\ker A = \ker A_{|\mathrm{Im}(I-BA)}$.
Appliquons le théorème du rang à la surjection $A:\mathrm{Im}(I-BA)\to \mathrm{Im}(A-ABA)$. Il vient $\mathrm{rg}(I-BA)=\mathrm{dim}\,\ker A +\mathrm{rg}(A-ABA)$. De même, $\mathrm{rg}(I-AB)=\mathrm{dim}\,\ker B +\mathrm{rg}(B-BAB)$. La formule demandée s'obtient en soustrayant les deux dernières égalités.
Réponses