entropie et dispersion
Chers tous,
Définissons la dispersion $d(\nu)$ d'une probabilité $\nu$ sur un ensemble fini $F$ par $P(X\neq X')$ où $X, X' \sim_{\text{iid}} \nu$. J'ai l'humble sentiment que cette quantité est liée à l'entropie $h(\nu):=-E[\log(\nu(X))]$ de $\nu$. En sauriez-vous quelque chose ? Une question précise : est-ce que à $\#F$ fixé, $d(\nu)$ est maximale pour la probabilité uniforme $\nu$, à l'instar de $h(\nu)$ ?
Définissons la dispersion $d(\nu)$ d'une probabilité $\nu$ sur un ensemble fini $F$ par $P(X\neq X')$ où $X, X' \sim_{\text{iid}} \nu$. J'ai l'humble sentiment que cette quantité est liée à l'entropie $h(\nu):=-E[\log(\nu(X))]$ de $\nu$. En sauriez-vous quelque chose ? Une question précise : est-ce que à $\#F$ fixé, $d(\nu)$ est maximale pour la probabilité uniforme $\nu$, à l'instar de $h(\nu)$ ?
Réponses
-
on dirait que $d(\nu) = \sum_{x \in F} \, \nu(x)(1-\nu(x)) = 1 - \sum_{x \in F} \nu(x)^2$: cela montre que la dispersion sur $F$ est maximale pour la distribution uniforme car le minimum de $\sum_{i} p_i^2$ sous la contrainte $\sum_i p_i = 1$ est atteint pour $p_1=\ldots=p_N=\frac{1}{N}$ si $N = \text{Card}(F)$,
-
Voilà déjà une bonne chose, merci alekk :)o
-
Ah regardez ça, à suivre !
-
$H_2(\nu) = - \log \sum \nu_i^2$ est l'entropie de Rényi d'ordre 2 de $\nu$. On a l'inégalité $H_2(\nu) \leq H(\nu)$.
Connectez-vous ou Inscrivez-vous pour répondre.
Bonjour!
Catégories
- 165.5K Toutes les catégories
- 64 Collège/Lycée
- 22.2K Algèbre
- 37.6K Analyse
- 6.3K Arithmétique
- 61 Catégories et structures
- 1.1K Combinatoire et Graphes
- 13 Sciences des données
- 5.1K Concours et Examens
- 26 CultureMath
- 51 Enseignement à distance
- 2.9K Fondements et Logique
- 10.8K Géométrie
- 85 Géométrie différentielle
- 1.1K Histoire des Mathématiques
- 79 Informatique théorique
- 3.9K LaTeX
- 39K Les-mathématiques
- 3.5K Livres, articles, revues, (...)
- 2.7K Logiciels pour les mathématiques
- 29 Mathématiques et finance
- 343 Mathématiques et Physique
- 5K Mathématiques et Société
- 3.4K Pédagogie, enseignement, orientation
- 10.1K Probabilités, théorie de la mesure
- 804 Shtam
- 4.2K Statistiques
- 3.8K Topologie
- 1.4K Vie du Forum et de ses membres