Estim param niveau M2 avec info de Fisher

Bonjour,
j'essaie de résoudre l'exercice suivant de niveau M2 (c'est le niveau de l'exercice, je précise...) :
On se place dans le cadre paramétrique régulier habituel avec un paramètre $\theta$ scalaire et une information de Fisher $I(\theta)$. Soit $\hat{\theta}(Y)$ un estimateur de $\theta$ de biais $h(\theta)$. Montrer que sous $P_{\theta}$ :
$Var(\hat{\theta}) \geq \frac{(1+h'(\theta))^2}{I(\theta)}$.

Déjà j'ai essayé d'expliciter les différentes quantités en jeu :

$h(\theta) = E[\hat{\theta}] - \theta$ (espérance sous $\theta$)
$Var(\hat{\theta}) = E[\hat{\theta}^2] - E[\hat{\theta}]^2$
$I(\theta) = E[(\frac{\partial \mathscr{L}(\theta, Y) }{\partial \theta})^2]$ où $\mathscr{L}(\theta, Y)$ est la log-vraisemblance.

$\mathscr{L}(\theta, Y) = log( P_{\theta}(Y))$ (je ne suis pas sûr de ça car $P_{\theta}$ peut être à densité...)

Ensuite, si je veux dériver $h(\theta)$ par rapport à $\theta$, je trouve $h'(\theta) = -1$ mais cela me semble très bizarre.
Pouvez-vous m'éclairer SVP ?

Réponses

  • Bonsoir,

    Il y a une astuce très directe si vous connaissez la borne de Cramér-Rao pour un estimateur d'une fonction de $\theta$.
    Est-ce le cas ?
    Amicalement,
  • Je copie ca de mes notes sur Cramer Rao:





    \vspace{4mm}\noindent \textbf{Proposition 7.} Consider a regular Fisher model $(P_{\theta}(dw))_{\theta\in \Theta}$ on $\Omega$, with $\Theta\subset \mathbb{R}^k.$ Let $w\mapsto X(w)$ be a measurable map from $\Omega$ to $\mathbb{R}^m$ (where $m$ is not necessarily equal to $k$). Denote $\psi(\theta)=\int_{\Omega}X(w) P_{\theta}(dw)$ and assume that differentiability conditions in the integral are met. Introduce the differential $\psi'(\theta): \mathbb{R}^k\rightarrow \mathbb{R}^m$ and its transpose $\psi'(\theta)^*: \mathbb{R}^m\rightarrow \mathbb{R}^k.$ Then the matrix

    \begin{equation}\label{G}\left[\begin{array}{cc}\mathrm{Cov}_{\theta}(X)& \psi'(\theta) \\ \psi'(\theta)^*&I(\theta)\end{array}\right]\end{equation} is semipositive definite.
    In particular when $(I(\theta))^{-1}$ exists, this is equivalent to saying that $$\mathrm{Cov}_{\theta}(X)-\psi'(\theta)(I(\theta))^{-1}\psi'(\theta)^*$$ is semipositive definite. In particular, $\mathrm{Cov}_{\theta_0}(X)-\psi'(\theta_0)(I(\theta_0))^{-1}\psi'(\theta_0)^*=0$ if and only if $\nu$ almost everywhere we have $X(w)=\psi(\theta_0)+\psi'(\theta_0)I(\theta_0)^{-1}\ell_w'(\theta_0)$.


    \vspace{4mm}\noindent \textbf{Proof.} It suffices to see that (\ref{G}) is the covariance of $[X(w)-\psi(\theta),\ell_w'(\theta)],$ a random vector of $\mathbb{R}^{k+m}.$ This is done in an entirely similar way as in Proposition 5. For studying the equality case we observe that
    $$\left[\begin{array}{cc}I_m&-\psi'(\theta)(I(\theta))^{-1}\\0&I_k\end{array}\right]\left[\begin{array}{cc}\mathrm{Cov}_{\theta}(X)&\psi'(\theta)\\\psi'(\theta)^*&I(\theta)\end{array}\right]\left[\begin{array}{cc}I_m&0\\-(I(\theta))^{-1}\psi'(\theta)^*&I_k\end{array}\right]$$ is equal to $\left[\begin{array}{cc}\mathrm{Cov}_{\theta}(X)-\psi'(\theta)(I(\theta))^{-1}\psi'(\theta)^*&0\\0&I(\theta)\end{array}\right]$ which is the covariance of the random vector of $\mathbb{R}^{k+m}$ defined by
    $$[X(w)-\psi(\theta)-\psi'(\theta)I(\theta)^{-1}\ell_w'(\theta), \ell_w'(\theta].$$ Thus if $\mathrm{Cov}_{\theta_0}(X)-\psi'(\theta_0)(I(\theta_0))^{-1}\psi'(\theta_0)^*=0$ we have as claimed the following equality $\nu$ almost everywhere:$$X(w)=\psi(\theta_0)+\psi'(\theta_0)I(\theta_0)^{-1}\ell_w'(\theta_0).\ \square$$


    \vspace{4mm}\noindent \textbf{Examples.} If $m=1$, that is if $X$ is a real random variable, Proposition 7 is the classical Cram\'er-Rao inequality
    $$\mathrm{Var}_{\theta}(X)\geq \psi'(\theta)(I(\theta))^{-1}\psi'(\theta)^*.$$
    If furthermore $k=1$ it can be read as
    $$\mathrm{Var}_{\theta}(X)\geq \frac{\psi'(\theta)^2}{I(\theta)}.$$
    This is the original form found by Fr\'echet (1938), Cram\'er (1945) page 475 and C. R. Rao (1946) and generally proved in elementary courses with the following ingredients:

    \begin{eqnarray*}\psi(\theta)&=&\int_{\Omega}X(w)P_{\theta}(dw), \ \psi'(\theta)=\int_{\Omega}X(w)\ell_w'(\theta)P_{\theta}(dw), \\ 0&=&\int_{\Omega}\ell_w'(\theta)P_{\theta}(dw), \ \psi'(\theta)=\int_{\Omega}[X(w)-\psi(\theta)]\ell_w'(\theta)P_{\theta}(dw)\end{eqnarray*} and we use Schwarz inequality:
    $$[\psi'(\theta)]^2\leq
    \int_{\Omega}[X(w)-\psi(\theta)]^2P_{\theta}(dw)\int_{\Omega}[\ell_w'(\theta)]^2P_{\theta}(dw)=\mathrm{Var}_{\theta}(X)I(\theta) $$

    Sometimes the result is described still under an other form: for $m=k=1$ take $X$ as a biased estimator of $\theta$ and denote the bias by $b(\theta).$ This means that we apply the last formula to $\psi(\theta)=\theta+b(\theta)$ for getting $$\mathrm{Var}_{\theta}(X)\geq \frac{(1+b'(\theta))^2}{I(\theta)}.$$
  • Bonjour, merci à vous deux pour ces réponses.
    Oui la borne de Cramer Rao fait partie des choses à savoir, et je vais essayer de reprendre la démonstration sans passer par le cas plus général, et reviens vers vous.
  • Bonjour, j'ai réussi la démo dans le cas unidimensionnel, merci pour le cas le plus général !
Connectez-vous ou Inscrivez-vous pour répondre.