Bayésien "conjugate prior"

Bonjour,

En estimation bayésienne à quoi correspond "conjugate prior" ?

Merci pour le coup de main

Réponses

  • Soit $P=(P_{\theta}(dx);\ \theta\in \Theta)$ un modèle statistique sur $X$ et soit $(\pi(d\theta);\ \pi \in F)$ une famille $F$ de probas dites a priori sur $\Theta.$ La famille $F$ est dite conjuguée si en notant
    $$
    Q_{\pi}(dx)K_{\pi}(x,d\theta)=P_{\theta}(dx)\pi(d\theta)
    $$ la probabilité a posteriori $K_{\pi}(x,d\theta)$ est aussi dans $F$ pour tout $\pi$ de $F$ et presque tout $x\in X$ (au sens de la probabilite $Q_{\pi}$). C'est super général puisque la famille de toutes les proba est conjuguée. Mais il y a un cas tres célèbre, celui où $P$ est une famille exponentielle sur $ \R^d$
    $$
    P_{\theta}(dx)=e^{\langle \theta,x\rangle -k(\theta)}\mu(dx),
    $$ avec $\theta\in \Theta(\mu)$ = le plus grand ouvert convexe de $\R^d$ possible. On introduit la famille $F$ de Diaconis Ylvisaker
    $$
    \pi_{\alpha ,m}(d\theta)=C(\alpha,m)e^{\alpha\langle m,\theta\rangle-k(\theta)} 1_{\Theta(\mu)}(\theta)d\theta
    $$ paramétrée par $\alpha>0$ et par $m$, qui decrit le domaine des moyennes $k'(\Theta)$ de $P.$ C’était tellement utilisé pour les familles exponentielles courantes (Binomiales, Gamma, Normale etc) que les statisticiens se sont habitués à appeler cette famille $F$ de proba a priori LA famille conjuguée. Donc si on parle de la famille conjuguee, il faut que le modele sont une famille exponentielle. La parametrisation de la famille $P$ peut varier dans la litterature, et cela modifie la presentation de la famille conjuguee. Ce serait un peu long de detailler les exemples classiques ici. Mais commence par Poisson ou $$\mu(dx)=\sum_{0}^{\infty}\frac{\delta_n(dx)}{n!}.$$
  • Vous n'avez pas définie $Q_{\pi}$
  • Avez vous une exemple moins abstrait pour illustrer l'idée s'il vous plaît?
  • $$\mu=N(0,1), P_{\theta}=N(\theta,1),\ k(\theta)=\theta^2/2,\ C(m,\alpha)=\sqrt{2\pi/\alpha}e^{m^2/2\alpha}.$$ Quant a ta question 'qui est $Q_{\pi}$?' c'est une probabilite sur $X.$ L'idee bayesienne est la consideration d'une loi jointe sur $X\times \Theta$ qu'on desintegre tantot suivant $\Theta$, tantot suivant $X$. Evidemment, dans la pratique $X$ sera vite remplace par le produit de $n$ copies de $X$ equipe de la probabilite conditionnelle $P_{\theta}(dx_1)\cdots P_{\theta}(dx_n).$



    Dans le cas d'une famille exponentielle et de LA famille conjuguee, la probabilite a posteriori $K_{\pi}((x_1,\ldots,x_n), d\theta)$ prend une forme explicite: si $\pi=\pi_{\alpha ,m}$ alors
    $$K_{\pi}((x_1,\ldots,x_n), d\theta)=\pi_{\alpha+n ,(\alpha m+s)/(\alpha+n)}(d\theta)$$ avec $s=x_1+\cdots+x_n$ (il peut y avoir une erreur vu que je cite de memoire)
  • Moins rigoureusement dit que P., c'est quand la loi a priori et la loi a posteriori appartiennent à la même famille de lois. On parle de famille conjuguée. Un "conjugate prior" est une loi a priori qui appartient à la famille conjuguée en question.

    Un exemple: pour le modèle binomial, la famille des lois Beta est conjuguée. C'est-à-dire que si la loi a priori est une Beta, alors la loi a posteriori est aussi une Beta.
  • Cher Saturne, bonjour. Connais tu d'autres exemples de famille conjuguee que ceux cites?
  • Hello P,

    Il y a la famille Gamma pour le modèle de Poisson.

    Les autres je ne sais plus. Je pense qu'on peut trouver un catalogue des familles conjuguées sur le ouebbe.

    Il y aussi les familles semi-conjuguées. Normale-Gamma pour les modèles linéaires gaussiens. Gamma-Beta' pour le modèle de deux lois de Poisson paramétrisé par un des deux taux et par le quotient des deux taux.
  • Ce sont tous des modèles exponentiels, Saturne, et les familles conjuguées au sens de Diaconis Ylvisaker.

    [Persi Diaconis (1945- ~ ) et Donald Ylvisaker méritent le respect de leur patronyme. AD]
  • J'ai ouï dire qu'il n'existe pas de famille conjuguées pour les modèles non-exponentiels. Ce n'est pas vrai ?
  • Enfin ça n'a pas de sens... car la famille constituée de toutes les distributions est conjuguée. Hmm...
  • Ton oui dire m'interesse. C'est pour cela que je te demandais un exemple non exponentiel, mais pas trivial.
  • Peut-être dans "Le choix bayésien" de Christian Robert.
  • Ah ben justement il donne des infos par ici (Xian = Christian Robert).
  • Merci Saturne, je m'apercois que je n'avais jamais reflechi a ces questions. L'exemple de Christian Robert est pourtant simple et part de l'inusable modele $P_{\theta}(dx)=\frac{1}{\theta}1_{(0)}(x)dx\sim \theta U$ avec $U$ uniforme sur $[0,1].$ Comme il y a moins de chance de se tromper avec une convolution additive que multiplicative, considerons plutot le modele $P_{\theta}(dx)\sim \theta+X$, ou $X$ est une va de loi quelconque fixee. Prenons alors une loi de proba $\pi(d\theta)$ sur $\R$ et pour $\alpha$ reel sa translatee $\pi_{\alpha}=\delta_{\alpha}*\pi.$ Alors bien sur $F=\{\pi_{\alpha}\ ; \alpha\in \R\}$ est une famille conjuguee pour $P=\{P_{\theta}(dx) ; \theta\in \R\}$ et il n'y a aucune famille exponentielle la dedans (sauf cas gaussien bien sur).
Connectez-vous ou Inscrivez-vous pour répondre.