Conditionnement Gaussien
Bonjour,
Soit $(X(n))_{1 \leq n \leq d}$ un vecteur Gaussien de $\mathbb{R}^d$ et $A \in \mathscr{M}_{k,d}(\mathbb{R}), Y \in \mathbb{R}^k$.
Y a-t-il des formules générales permettant d'avoir accès à $ \quad \mathbb{E}(X \mid AX = Y)$ ??
Merci à vous !
Soit $(X(n))_{1 \leq n \leq d}$ un vecteur Gaussien de $\mathbb{R}^d$ et $A \in \mathscr{M}_{k,d}(\mathbb{R}), Y \in \mathbb{R}^k$.
Y a-t-il des formules générales permettant d'avoir accès à $ \quad \mathbb{E}(X \mid AX = Y)$ ??
Merci à vous !
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
Supposons que $X=(X(n))_n$ possède une densité $f$. En notant $C$ la matrice de covariance de $X$ et $m=\Bbb E[X]$, on a $$\forall x\in\Bbb R^d,\qquad f(x) = \frac1{(2\pi\lvert \det C\rvert)^{d/2}} \exp\left(-\frac12 (x-m)^\top C^{-1} (x-m)\right).$$ Soit $E$ l'espace affine $\{x\in \Bbb R^d \mid Ax=y\}$ (je préfère noter $Y$ en minuscule). On s'attend à ce que la loi de $X$ conditionnellement à $\{AX=y\}=\{X\in E\}$ soit gaussienne ; admettons que ce soit vrai. Alors $m_y :=\Bbb E[X\mid AX=y]$ coïncide avec le maximum de $f$ sur $E$.
Pour trouver ce max, il faut optimiser $g:x\mapsto \frac12 (x-m)^\top C^{-1} (x-m)$ sous la contrainte affine $Ax=y$. Comme $g$ est strictement convexe, $m_y$ est l'unique élément de $E$ tel qu'il existe un multiplicateur de Lagrange $p\in\Bbb R^k$ vérifiant $$0=\nabla g(m_y)+A^\top p = C^{-1} (m_y-m)+A^\top p.$$ On a alors $CA^\top p=m-m_y$ donc $\fbox{$ACA^\top p =Am-y$}$. Ainsi, on peut trouver un $p$ convenable en résolvant ce système linéaire ($p$ n'est pas forcément unique) puis on calcule $m_y$ avec la relation $\fbox{$m_y = m-CA^\top p$}$.
PS: J'ai tout expliqué à $Y$ fixé, mais en réalité c'est vrai (et ça n'a de sens) que pour presque tout $Y\in\mathrm{Im}(A)$.
On pourrait peut-être justifier le caractère gaussien de $X$ sachant $AX=y$ que j'ai admis en réexprimant $(x-m)^\top C^{-1}(x-m)$ lorsque $x\in E$ comme une forme quadratique sur $\Bbb R^{truc}\cong E$ par un changement de variable (avec au lieu de $C^{-1}$ une matrice symétrique positive de taille $truc$). Mais le calcul ne me saute pas aux yeux, et ç'a l'air un peu pénible à le chercher. (J'espère que c'est vrai quand même, car ne l'ayant pas prouvé, je ne peux pas être 100% sûr.)
Dans le cas où $X$ ne possède pas de densité, je pense que la formule de $m_y$ est la même. On pourrait peut-être le montrer en prenant une suite de v.a. gaussiennes à densité qui convergent vers $X$ et en montrant que la formule passe à la limite, mais ç'a aussi l'air un peu chiant.
De plus, pour tout $z\in\Bbb R^q\setminus\{0\}, \; z^\top (B^\top C^{-1}B)z = (Bz)^\top C^{-1}(Bz)>0$ donc $B^\top C^{-1}B$ est symétrique définie positive, et en particulier inversible. Donc $\tilde C := (B^\top C^{-1}B)^{-1}$ est un candidat possible pour être une matrice de covariance.
Ainsi, on a : $\forall z\in\Bbb R^q,$ $$\begin{eqnarray*} (Bz+x_0-m)^\top C^{-1} (Bz+x_0-m) &=& z^\top B^\top C^{-1}Bz +2(x_0-m)^\top C^{-1} Bz + \underbrace{(x_0-m)^\top C^{-1} (x_0-m)}_{\text{cste indép. de }z}\\ &=& z^\top \tilde C^{-1} z -2z_0^\top \tilde C^{-1} z + \mathrm{cste} \qquad \text{avec } z_0 := \tilde C B^\top C^{-1}(m-x_0)\in\Bbb R^k\\ &=& (z-z_0)^\top \tilde C^{-1}(z-z_0) + \mathrm{cste}\\ \end{eqnarray*}$$ Puis quand on prend l'exponentielle de $-\frac12$ fois ça, on obtient bien la densité d'une gaussienne (à la constante de normalisation près, mais c'est normal).
Bref, ce que j'avais admis est vrai, et donc les formules que j'avais données pour $m_y$ sont confirmées.
Edit : résolution d'un conflit de notation sur $m$.
Si $X$ ne possède pas de densité, il faudrait d'abord se restreindre à son support, qui est un sous-espace affine, égal à $m+\mathrm{Im}(C)$ (je crois), sur lequel il possède une densité. Je ne sais pas si ça permet d'avoir une formule utilisable dans ce cas.
PS. Je n'ai pas vérifié les formules de ta dernière phrase (fatigué aussi ).