entropie et dispersion

Chers tous,
Définissons la dispersion $d(\nu)$ d'une probabilité $\nu$ sur un ensemble fini $F$ par $P(X\neq X')$ où $X, X' \sim_{\text{iid}} \nu$. J'ai l'humble sentiment que cette quantité est liée à l'entropie $h(\nu):=-E[\log(\nu(X))]$ de $\nu$. En sauriez-vous quelque chose ? Une question précise : est-ce que à $\#F$ fixé, $d(\nu)$ est maximale pour la probabilité uniforme $\nu$, à l'instar de $h(\nu)$ ?

Réponses

  • on dirait que $d(\nu) = \sum_{x \in F} \, \nu(x)(1-\nu(x)) = 1 - \sum_{x \in F} \nu(x)^2$: cela montre que la dispersion sur $F$ est maximale pour la distribution uniforme car le minimum de $\sum_{i} p_i^2$ sous la contrainte $\sum_i p_i = 1$ est atteint pour $p_1=\ldots=p_N=\frac{1}{N}$ si $N = \text{Card}(F)$,
  • Voilà déjà une bonne chose, merci alekk :)o
  • $H_2(\nu) = - \log \sum \nu_i^2$ est l'entropie de Rényi d'ordre 2 de $\nu$. On a l'inégalité $H_2(\nu) \leq H(\nu)$.
Connectez-vous ou Inscrivez-vous pour répondre.