Pseudo-inverse

Balitran · November 2022

Bonjour à tous,

On définit par pseudo inverse de $f$ l'application $g$ telle que $f\circ g \circ g = f$ et $g \circ f \circ g = g$.

Ce pseudo-inverse donne une solution approchée de $f(x) = b$, au sens des moindre carrés, $g(b)$ - à défaut de pouvoir donner $f^{-1}(b)$.

Mon problème est que des documents que j'ai pu lire sur la notion de pseudo-inverse, aucun ne fait le lien entre la définition ci-dessus et son utilisation dans la résolution d'équation au sens des moindres carrés. D'où ma question : pourquoi la définition ci-dessous permet de dire que $g(b)$ est une solution approchée de l'équation $f(x) = b$ ?

En vous remerciant d'avance.

Georges Abitbol · November 2022

Je viens de découvrir le bouquin "Linear Algebra and Learning from Data" et je crois que la réponse est dedans.

Supposons que $f$ a un adjoint $f^*$ et que $h := f^* f$ est inversible. Alors l'application $g : h^{-1} f^*$ vérifie les propriétés suivantes : $g f = h^{-1} f^* f = (f^* f)^{-1} f^* f = id$.

De plus, soit $y$. On pose $E(x) := \Vert y - f(x) \Vert^2 = \Vert y \Vert^2 - 2\langle y,f(x)\rangle + \langle f(x),f(x)\rangle$. Ainsi, $E$ est différentiable et sa différentielle est telle que pour tout $x$ et $h$, $d_x E(h) = - 2\langle y,f(h)\rangle + 2 \langle f(x),f(h)\rangle = 2 \langle y - f(x),f(h)\rangle = 2 \langle f^*(y) - f^* f(x),h\rangle$.

Les minima de $E$ sont les points critiques de $E$, c'est-à-dire, les points d'annulation de sa différentielle. Ce sont donc les points $x$ tels que $f^*(y) = f^* f(x)$, i.e. si non vide, le singleton $\{(f^* f)^{-1} f^* (y)$, i.e. $\{g(y)\}$ pour la pseudo-inverse $g$ ci-dessus.

guiguiche · November 2022

C'est ce qui est développé dans ce sujet ESSEC 2012 voie scientifique.

Lars · November 2022

Bonjour

Il vous manque des conditions ($fg, gf$ autoadjoints si sur $\R$ resp. hermitiens si sur $\C$) pour faire le lien (il n'y a pas unicité...sauf dans le cas trivial).

Pour la recherche de $x0$ tel que $||fx-b||$ minimum on s'intéresse naturellement à la projection orthogonale de $b$ sur $Im f$ qui, avec les conditions manquantes, se trouve être $fg(b)$

Puis on cherche $x0$ (qui nécessairement existe) tel que $fx0=fg(b)$

Candidat naturel $g(b)$ (on peut prendre aussi $g(b)+y, y\in ker f$ etc...

$fg$ est la projection orthonale sur $Im f$

Preuve :

$(fg)^*=fg$ : condition manquante

$(fg)^2=f(gfg)=fg$ donc $fg$ projecteur symétrique (resp hermitien) donc orthogonal

$Im fg \subset Im f$

$f=fgf=(fg)f$ d'où $Im f \subset Im fg$ d'où $Im fg=Im f$

Finalement, $fg$ est le projecteur orthonal sur $Im f$

Voir paragraphe "cas matriciel" :

https://fr.m.wikipedia.org/wiki/Pseudo-inverse

Balitran · November 2022

Merci à tous pour vos réponses.

Celle de Lars m'a particulièrement aidée. Mais cela m'amène à une autre question : étant donné que j'ai rencontré la notion de pseudo-inverse dans un exercice où n'était défini sur l'espace de départ $E$ aucun produit scalaire / norme, quel sens / signification peut-on donner au pseudo-inverse dans ce cas ? (ou est-ce juste un exercice permettant de voir qu'à partir d'hypothèses plus faibles on peut démontrer certaines propriétés de la pseudo-inverse).

Pseudo-inverse

Réponses

Bonjour!

Catégories

In this Discussion

Qui est en ligne 25