Estimation espérance loi uniforme
dans Statistiques
Bonjour
Un petit message pour demander si vous connaissez des estimateurs d'espérance de la loi uniforme sur un intervalle réel inconnu (évidemment).
On suppose que $X_1,\ldots,X_n$ sont des variables aléatoires indépendantes, suivant toutes la même loi uniforme continue $U$.
Le premier estimateur de l'espérance de $U$ auquel on pense est bien sûr la moyenne empirique : $$A = \frac{X_1+\cdots+X_n}{n}.
$$ La longueur de l'intervalle de fluctuation de $A$ est en $1/\sqrt{n}$.
La médiane est également un estimateur de l'espérance de $U$ , mais environ 1.7 fois moins précis que la moyenne (précision en terme de longueur d'intervalle de fluctuation).
Mais un estimateur de l'espérance de $U$ plus performant est $$B= \frac{\max(X_1,\ldots,X_n) + \min(X_1,\cdots,X_n)}{2}.
$$ La longueur de l'intervalle de fluctuation de $B$ est en $1/n$.
Est-ce que vous en connaissez de meilleur(s) ?
Cordialement.
Un petit message pour demander si vous connaissez des estimateurs d'espérance de la loi uniforme sur un intervalle réel inconnu (évidemment).
On suppose que $X_1,\ldots,X_n$ sont des variables aléatoires indépendantes, suivant toutes la même loi uniforme continue $U$.
Le premier estimateur de l'espérance de $U$ auquel on pense est bien sûr la moyenne empirique : $$A = \frac{X_1+\cdots+X_n}{n}.
$$ La longueur de l'intervalle de fluctuation de $A$ est en $1/\sqrt{n}$.
La médiane est également un estimateur de l'espérance de $U$ , mais environ 1.7 fois moins précis que la moyenne (précision en terme de longueur d'intervalle de fluctuation).
Mais un estimateur de l'espérance de $U$ plus performant est $$B= \frac{\max(X_1,\ldots,X_n) + \min(X_1,\cdots,X_n)}{2}.
$$ La longueur de l'intervalle de fluctuation de $B$ est en $1/n$.
Est-ce que vous en connaissez de meilleur(s) ?
Cordialement.
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
Autre question : connaissez-vous un autre cadre (ie les variables aléatoires $X_1,...,X_n$ suivent toutes une autre loi de probabilité $L$)
dans lequel la moyenne empirique $A$ n'est pas le meilleur estimateur de l'espérance de $L$ ?
Cordialement
Voici un exemple semblable. Considérons la famille de lois de probabilité $f_\theta:x\mapsto{\bf1}_{x>\theta} e^{-x+\theta}$ pour $\theta\in\Bbb R$ inconnu. Si $X$ est une v.a. de densité $f_\theta$, alors $\Bbb E[X]=\theta+1$. Alors la moyenne empirique est un estimateur de $\theta+1$ qui converge en $1/\sqrt n$ alors que $\min(X_1,\dots,X_n)+1$ converge en $1/n$.
\Bbb P(M_n < m-t) &\leqslant& \Bbb P\Big[ \#\{1\leqslant i\leqslant n\mid X_i<m-t\}\geqslant \frac n2 \Big]\\
&=& \Bbb P\Big[ {\cal B}(n,p_t) \geqslant \frac n2 \Big]\\
&=& \Bbb P\Big[ {\cal B}(n,p_t) -np_t\geqslant \frac n2-np_t \Big]\\
&\leqslant & \exp\Big( -\frac2n \Big[ \frac n2-np_t \Big]^2 \Big) \quad\text{(Hoeffding)}\\
&=& \exp\Big( -2n \Big[ \frac 12-p_t \Big]^2 \Big).
\end{eqnarray*}$$
Même combat de l'autre côté de la médiane, donc $$\begin{eqnarray*}
\Bbb P(|M_n-m| > t) &\leqslant& \exp\Big( -2n \Big[ \frac 12-\Bbb P(X<m-t) \Big]^2 \Big) +\exp\Big( -2n \Big[ \frac 12-\Bbb P(X>m+t )\Big]^2 \Big)\\
&\leqslant& 2\exp( -2n f(t)^2 ).
\end{eqnarray*}$$ en posant $f(t)= \min\big\{ \frac 12-\Bbb P(X<m-t), \frac 12-\Bbb P(X>m+t ) \big\}$.
Or, en notant $f^{-1}(p)= \inf\{t>0\mid f(t)\geqslant p\}$ pour tout $p\geqslant 0$, on a $$
2\exp( -2n f(t)^2) \leqslant \varepsilon
\ \Leftrightarrow\ f(t) \geqslant\sqrt{\frac{\ln(2/\varepsilon)}{2n}}
\ \Leftrightarrow\ t\geqslant \fbox{$f^{-1}\left(\sqrt{\dfrac{\ln(2/\varepsilon)}{2n}}\right)$}.$$
La quantité encadrée est la demi-largeur de l'intervalle de confiance de $\Bbb E[X]$ de niveau $\varepsilon$ fourni par $M_n$. Et c'est le comportement de $f$ quand $t\to 0^+$ qui va déterminer la vitesse de convergence de l'estimateur $M_n$.
Mise en pratique :
$\bullet$ Si la loi de $X$ est, au voisinage de $m$, à densité continue non nulle en $m$ (par exemple si $X$ est uniforme ou gaussienne), alors $f(t)\underset{t\to0^+}\asymp t$ donc $f^{-1}(t)\underset{t\to0^+}\asymp t$ et on n'obtient pas mieux que la vitesse de convergence $1/\sqrt n$ qu'on avait déjà avec la moyenne empirique.
$\bullet$ En revanche, si $\Bbb P(X=m)>0$ [édit: et $\Bbb P(X<m)$ et $\Bbb P(X>m)$sont différents de $1/2$], alors $\lim\limits_{t\to0^+}\!\!\downarrow f(t)>0$ donc $f^{-1}$ est nulle au voisinage de 0. Donc $M_n$ converge arbitrairement vite, et on peut carrément prendre un intervalle de confiance égal à un singleton à partir d'un certain rang ! C'est dû au fait que $(M_n)$ est p.s. stationnaire à $m$. C'est par exemple le cas pour une gaussienne mélangée avec un Dirac en sa médiane.
$\bullet$ Cas moins extrême, si $\Bbb P(X=m)=0$ et s'il existe $k\in{]0,1[}$ et $c>0$ tels que $f(t)\geqslant ct^{k}$ (NB: $\Bbb P(X=m)=0$ implique que $f(t) = \min\{\Bbb P(X\in[m-t,m]),\Bbb P(X\in[m,m+t])\}$), alors la vitesse de convergence de $M_n$ est inférieure à $n^{-\frac1{2k}}$, ce qui est mieux que $1/\sqrt n$. Ce cas se produit par exemple si $X$ a une densité de l'ordre de $1/|t-m|^{1-k}$ au voisinage de $m$. Ça concerne aussi certaines lois singulières vis-à-vis de la mesure de Lebesgue.[size=x-small]
Dans ton premier exemple, pour estimer $\theta$, le $\min(X_1,\ldots,X_n)$ est donc meilleur que la moyenne $\frac{X_1+\cdots+X_n}{n}-1$.
Comme dans l'exemple que j'ai donné, il y a une borne finie ($\theta$ pour exemple) pour le support de la loi de probabilité.
Merci pour ton étude sur la médiane (et les exemples associés), bien plus précise que la petite phrase que j'avais écrite.