Information de Fisher facile

Salut,

Je dois calculer une information de Fisher pour une loi de Poisson, et j'ai plusieurs questions de méthodologie au moins.

Dois-je considérer que je prends $n$ v.a. $X_i$ i.i.d. suivant une loi de Poisson, ou seulement une seule ?

Je trouve $\displaystyle I(\lambda) = \frac{\sum_{i=1}^{n}{x_i}}{\lambda^2}$ comme résultat final en prenant $n$ v.a. i.i.d. Il est bien évident qu'à partir de ce résultat je peux prendre $n=1$.

Je suis surpris par la réponse, qui contient encore du $x_i$, est-ce normal ou ai-je fait une erreur ?

Autres questions : la log-vraisemblance, le log, c'est une logarithme népérien ( = ln) ou non ? Et je crois savoir que si on prend $n$ v.a. i.i.d. justement l'info de Fisher doit être égale à $n$ fois le cas d'une seule v.a., cependant dans mon exemple ça ne marche pas, ou alors je me suis trompé dans le calcul...

Merci de vos conseils.

Réponses

  • La log vraisemblance est à considérer avec un ln, et l'information de Fischer doit dans le cas iid etre égale à n fois l'information de Fischer d'une variable aléatoire de l'échantillon ...
  • Ok pour le $ln$. L'information de Fisher ne peut donc pas dépendre des $x_i$ ? J'ai beau refaire le calcul, je n'arrive pas à m'en débarasser...
  • En fait, il y a un truc que j'ai dû rater.

    L'information de Fisher, dans de bonnes conditions de régularité, c'est bien la hessienne de la log-vraisemblance ? (dérivée seconde dans le cas simple) Dans ce cas, je ne vois pas par quelle miracle les $x_i$ disparaîtraient systémtiquement, pour donner un joli nombre qui ne dépend que de $\theta$...
  • Hum hum je crois qu'il y a une espérance à prendre non ?
  • Oui je viens de voir ça =)
  • Salut,

    Il faut prendre l'opposé de l'espérance de la hessienne de la log-vraissemblance. On obtient un résultat qui dépend du nombre d'observations et du paramètre du modèle.

    Par contre je n'ai pas vu en cours les conditions de régularité qui permettent de simplifier ainsi le calcul de l'information. Quelqu'un les connait-il ? :D
  • Continuons donc...

    Je cherche l'info de Fisher pour la loi de Pareto $\displaystyle \frac{\alpha-1}{\theta} \left(\frac \theta x\right)^{\alpha}1_{x \leq \theta}$.
    La log-vraisemblance vaut $\ln(\alpha-1)-\ln(\theta)+\alpha (-\ln(x) + \ln(\theta))$.

    Dérivée seconde par rapport à $\alpha = -1/(\alpha-1)^2 * 1_{x \leq \theta}$,
    dérivée croisée $=1/\theta * 1_{x \leq \theta}$,
    dérivée seconde par rapport à $\theta = (\alpha-1)/\theta^2 * 1_{x \leq \theta}$.

    L'espérance de la fonction caractéristique de $x \leq \theta$ est $1$ (est-ce bien ça ?
    Pour moi quand on calcule l'espérance on retrouve la densité, donc une intégrale égale à $1$), donc l'info de Fisher vaut (sorry) :

    $I_{11} = \dfrac 1 {(\alpha-1)^2}$
    $I_{12} = I_{21} = - \dfrac 1 \theta$
    $I_{22} = \dfrac{\alpha-1}{\theta^2}$

    Juste pour savoir si ça vous semble bon, il faut que je me lance un peu pour être familier de ces notions.
    Merci !

    A propos, il existe une database des infos de Fisher pour les différentes lois ?
    Réponse à Egoroff : J'ai regardé sur wiki mais c'est loin d'être exhaustif, il n'y pas beaucoup de lois intéressantes...
  • Zantac : c'est un peu bizarre que tu te retrouves à prendre l'espérance de cette indicatrice (enfin je me trompe peut-être).
  • Je trouve aussi, mais je ne sais pas trop quoi en faire, de cette fonction caractéristique que je me vois obligé de trimballer jusqu'au bout... Si qqn pouvait y regarder de plus près, ça m'arrangerait.
  • Moi je veux bien mais j'ai la flemme de tout reprendre à zéro, et puis je n'arrive pas à lire la densité... Ca te dit de me dire comment tu trouves la log-vraisemblance ?
  • Dans la $\log$-vraisemblance, j'ai oublié la fonction caractéristique.

    Sinon la vraisemblance c'est le produit des densités, ici il n'y a qu'une densité donc la vraisemblance $L$ c'est $f$. Puis je prends le $\log$...

    [La case LaTeX. :) AD]
  • Ouais bah ya quand même un problème pour prendre le log là où la fonction caractéristique vaut 0... C'est pour ça que je n'ai jamais aimé les stats :)

    Je pense qu'au moment du passage au log il ne faut pas tenir compte de la fonction caractéristique, faut-il en tenir compte lors de la dérivation par rapport à $\theta$ ? Je pense que non mais du coup les dérivées secondes ne dépendent plus de $x$ et la hessienne est sa propre espérance...

    Attendons un vrai statisticien (Ben, Lucas, Kuja et les autres, où êtes-vous ?).
  • Justement, quand on prend la log-vraisemblance, la formule correcte est :

    $[\ln(\alpha-1)-\ln(\theta)+\alpha (-\ln(x) + \ln(\theta))]*1_{x \leq \theta}$

    De cette façon, on ne prend pas le log n'importe où. Et dans tous mes calculs, je prends en compte la fonction caractéristique, qui disparaît à l'espérance (événement certain, ou encore calcul en remarquant que la carré d'une fonction caractéristique est lui-même, donc on retrouve l'espérance de $f$)...
  • egoroff j'ai trouvé ma réponse dans le lien wikipédia ;)

    Sinon Zantac je trouve le même résultat que toi, par contre j'ai l'indicatrice avec x plus grand que thêta.

    Pour le log et l'indicatrice c'est pas un problème on peut dire que x est presque sûrement supérieur à thêta et calculer les dérivées (définies presque sûrement).
  • Aryanam : Oui d'ailleurs le lien était pour toi pas pour Zantac :) D'accord pour l'indicatrice, sinon ce n'est pas une densité de proba. Et en effet le log de zéro n'est pas un (vrai) problème vu qu'une v.a. est p.s. à valeurs dans le support de sa loi, bien vu !

    Zantac : Ok pour la formule et pour les dérivées, mais tu es d'accord que la hessienne ne dépend plus de x ?
  • Bien sûr la hessienne ne dépend plus de $x$, et en effet j'ai confondu \leq et \geq =)
  • Salut,

    J'ai un peu de mal avec ces notions, visiblement.
    On reprend une loi de Pareto $f(x)=\frac{\alpha-1}{\theta}*(\frac{\theta}{x})^\alpha*1_{x \geq \alpha}$. Cette densité est aussi la vraisemblance $L$, et on appelle $l$ la log-vraisemblance.

    $l = (\ln(\alpha-1)-\ln(\theta)+\alpha(\ln(\theta) - \ln(x)))*1_{x \geq \theta}$

    Le score est défini par le vecteur à $2$ lignes et une colonne de composantes $\partial l / \partial\alpha$ et $\partial l / \partial\theta$.

    Or, ce deuxième élément vaut $(\alpha-1)/\theta$, et je dois également avoir que le score est centré, ce qui me semble faux...

    Si vous avez une explication... Le score doit-être centré sous l'hypothèse que l'on puisse intervertir dérivée par rapport à $\alpha$ et $\theta$ et intégrale pour $L$, est-ce pour cela ?

    Pour ceux qui ont suivi hier, cela ne remet-il pas en question l'information de Fisher trouvée hier ? Puisqu'on avait supposé de bonnes propriétés de régularités, pas claires ici...

    Si qulequ'un peut m'aider,
    Merci.

    [Non, Denis, tu connais le fonctionnement du forum !
    Tu ne dois pas créer de nouvelle discussion sur un sujet encore ouvert, par toi, qui plus est. :) AD]
  • Au moins, pour l'autre intégrale, on trouve bien une espérance nulle (pour $\partial l/ \partial \theta$) après calculs. Comme il y a du $x$ qui intervient, l'intégrale est à calculer, alors que dans l'autre cas, comme je trouve une fonction constante (à $\alpha, \theta$ fixés) je vois mal comment avoir une espérance nulle... Vraiment curieux ! :(
  • Aïe oui y'a un problème du côté de thêta ... le score n'est pas centré mais on ne pouvait pas l'affirmer car il n'y a pas interversion de la dérivée par rapport à thêta et de l'intégrale de $\L$ ..

    Du coup je ne sais pas si on peut quand même définir l'information :S
  • On peut définir l'information, mais pas comme la hessienne de $l$, il faut revenir à la variance du score, sans doute.

    Je tombe des nues, il me semblait clair qu'on pouvait quasiment toujours utiliser le fait que c'est la hessienne de $l$, apparemment même sur un exemple aussi simple ça ne marcherait pas ? Il doit y avoir une coquille quelque part.

    Il y a un autre truc que je comprends pas. Si je prends un score qui est centré, et à $2$ lignes et $1$ colonne, correspondant à $s = (\partial l/ \partial\theta_1,\ \partial l/ \partial\theta_2)'$, alors je sais que l'information de Fischer va être l'espérance de $ss'$, autrement dit en $(2,2)$ le coeff est $E_{\theta_1,\theta_2} (\partial l/ \partial\theta_2)^2$. Mais par la formule de la hessienne, c'est aussi $-E_{\theta_1,\theta_2} (\partial^2 l/ \partial\theta_2^2)$, et je ne vois pas pourquoi ils seraient égaux...

    Si quelqu'un lit encore ce fil, je suis intéressé par tout ce qu'il peut m'apporter ! Merci !
  • Salut Zantac,

    Alors pour la définition de l'information avec la variance je suis ok :) j'avais pas vu ça en cours !

    Sinon en fait tu cherches la démo pour montrer la formule de la hessienne :D J'ai vu la démarche qui suit.
    On suppose de plus que l'interversion intégrale/dérivation par rapport à $\theta_j$, est valable pour $\partial L/ \partial\theta_i$. On remarque alors que $E_{\theta}(1/L . (\partial^2 L/ \partial\theta_i\partial\theta_j))=0$. Ensuite on reprend le calcul de l'élément $(i,j)$ de la hessienne en développant la dérivée d'un logarithme et avec la remarque précédente on aboutit au résultat (pour ton interrogation c'est le cas $i=j$).
  • Effectivement ça marche tout seul dans ce cas, merci beaucoup, ça m'a enlevé un gros doute.

    Reste que j'aimerais vraiment bien savoir que vaut l'info de Fisher dans le cas de la loi de Pareto, et surtout comment est-il possible que l'interversion intégrale-dérivée ne marche pas pour une fonction si simple !

    Merci encore.
Connectez-vous ou Inscrivez-vous pour répondre.