Gibbs

mcd

Bonjour
J'essaye de comprendre un peu les échantillonneurs de Gibbs, du coup j'ai pris un exemple plutôt simple qui m'emmène à des questions que j'aimerais vous soumettre.

Pour simuler un échantillion de
$$
(X,Y) \sim \mathcal{N}(\mu, \Sigma),

$$ on va utiliser effectuer la procédure. Soit $(x_{0},y_{0})$
$$
x_{1} \sim p(x|y_{0})
\qquad\text{et}\qquad
y_{1} \sim p(y|x_{1})
\qquad
...
$$ Ainsi la loi de $X$ sachant $Y$ (et réciproquement) est simple est une loi à densité
$$
p_{X|Y = y} = {p(x,y) \over \int { p(x,y) dx } }.


$$ Indépendance. On peut encore simplifier le problème ici comme $X$ et $Y$ sont indépendantes alors $p_{X\mid Y = y} = p(x)$ suit une loi $\mathcal{N}(\mu_{1}, var(X)_{1,1})$ et donc utiliser un échantillonneur de Gibbs pour simuler une échantillon $X,Y$ revient à tirer $x_{i}$ et $y_{i}$ de loi normale.

Non indépendance. Pour rendre le phénomène plus complexe on va retirer l'hypothèse indépendance, en rajoutant une covariance.
Ici on peut utiliser une méthode pour simuler $p_{X\mid Y = y} $ mais le calcul d'intégrale me semble assez coûteux, je dirais même dangereux. Je me demande s'il existe une méthode qui ne calcule pas l'intégrale ? Ou on ne doit pas s'en inquiéter ?

Vous remarquerez qu'ici je n'ai pas écrit les calculs explicites des lois. C'est fait exprès car j'ai peur d'aboutir à des conclusions un peu spécifiques.

mcd

Autre question. Est-ce que cette méthode peut servir à faire de l'inférence ? Je m'intéresse notamment au modèle
$$
\omega_{1} N(\mu_{1}, \Sigma_{1}) + \omega_{2} N(\mu_{2}, \Sigma_{2}).

$$ Par exemple sur $\mathbb{R}^{2}$. Et j'aimerais inférer $\omega, \mu$ et $\Sigma$.
Je continue mes recherches, bien à vous.

mcd

Ok j'ai trouvé pour la deuxième question la première reste porte ouverte.

La vida loca a écrit:

Dans le cadre bayésien, l'algorithme de Gibbs va permettre d'obtenir une réalisation du paramètre
$\theta=\left(\theta_{1}, \cdots, \theta_{m}\right)$ suivant la loi a posteriori $\pi(\theta \mid x)$ dès que l'on est capable d'exprimer les lois
$$
\text { conditionnelles : } \pi\left(\theta_{i} \mid \theta_{j} ; x\right), j \neq i
$$
L'échantillonnage de Gibbs consiste à :Partant d'un vecteur initial $\theta^{(0)}=\left(\theta_{1}^{(0)}, \cdots, \theta_{m}^{(0)}\right)$
A la $(p+1)^{\text {ìme }}$ étape, disposant du vecteur $\theta^{(p)}=\left(\theta_{1}^{(p)}, \cdots, \theta_{m}^{(p)}\right)$, simuler
$$
\begin{array}{l}
\theta_{1}^{(p+1)}=\pi\left(\theta_{1} \mid \theta_{2}^{(p)}, \theta_{2}^{(p)}, \cdots, \theta_{m}^{(p)} ; x\right) \\
\theta_{2}^{(p+1)}=\pi\left(\theta_{2} \mid \theta_{1}^{(p+1)}, \theta_{3}^{(p)}, \cdots, \theta_{m}^{(p)} ; x\right) \\
\cdots \\
\theta_{m}^{(p+1)}=\pi\left(\theta_{m} \mid \theta_{1}^{(p+1)}, \theta_{2}^{(p)}, \cdots, \theta_{m-1}^{(p)} ; x\right)
\end{array}
$$
Les itérations successives de cet algorithme génèrent successivement les états d'une chaine de Markov $\left\{\theta^{(p)}, p>0\right\}$ à valeurs $\mathbb{N} \otimes m$

Donc je vais devoir calculer
$$
\pi(\omega_{1} | \text{ Reste } - \omega_{1}, x)
\qquad
...
$$ Ca fait du boulot, mais une fois que j'ai ça roulez paresse. La première loi est sur $[0,1]$ après je dois pouvoir la calculer avec les priors je vais réfléchir.

mcd

Bon ce n'est pas si simple je continue mes recherches.

mcd

Sinon je peux mettre mes $\omega_{1}, \omega_{2}$ et $\Sigma_{1}, \Sigma_{2}$ constants. Il ne me reste plus qu'à mettre une loi sur mes moyennes. La normale se calcule bien ?

mcd

Je l'ai calculé à la main je ne trouve pas une loi connue. Pour moi en tout cas.