Définition générale de l'entropie
Je me demandais quelle est le bon cadre théorique pour la définition de l'entropie d'une variable aléatoire quelconque, une définition qui unifie les formules pour les v.a. discrète et continues, à densité ou non.
Si la variable aléatoire $X$ est à valeur dans $\mathbb{R}$ et $F$ est sa fonction de répartition, et $\mathbb{P}_X$ la mesure image de $X$, les définitions que je retrouve souvent sont (à constante multiplicative près), dans le cas discret où $p$ désigne la fonction de masse de la loi de $X$:
$$
H(X) = - \mathbb{E}(\log p(X) ) = - \int_{\mathbb{R}} \log p(x) d\mathbb{P}_X(x) = - \sum_{i \in \mathbb{N}} p(i) \log p(i)
$$ et dans le cas à densité où $f$ désigne la fonction de densité de la loi de $X$:
$$
H(X) = - \mathbb{E}(\log f(X)) = - \int_{\mathbb{R}} \log f(x) d\mathbb{P}_X(x) = - \int_{\mathbb{R}} f(x) \log f(x) d\lambda(x)
$$ Intuitivement, on sent bien que la fonction de masse et de densité ont un rôle analogue, mais comment unifier la définition ?
De manière un peu naïve, en considérant qu'on puisse dériver la fonction de répartition de toutes variables aléatoires sans que ça pose problème. On aimerait bien écrire:
$$
H(X) = - \mathbb{E}(\log F'(X))
$$ Le besoin de dériver des fonctions non dérivables m'a immédiatement fait pensé aux distributions de Schwartz. Ainsi j'ai essayé de donner un sens à cette expression dans le cas où $X$ n'est pas absolument continue. Sans succès.
Ensuite, comment définir l'entropie d'une variable aléatoire continue mais pas absolument continue ?
Par exemple une variable aléatoire donc la fonction de répartition est l'escalier de Cantor.
Malgré le fait que $F$ soit dérivable presque partout, cette même dérivée est aussi nulle presque partout, en utilisant la dernière définition, on aurait une entropie nulle.
Qu'en est-il des cas où $F$ est encore plus méchante ?
Si la variable aléatoire $X$ est à valeur dans $\mathbb{R}$ et $F$ est sa fonction de répartition, et $\mathbb{P}_X$ la mesure image de $X$, les définitions que je retrouve souvent sont (à constante multiplicative près), dans le cas discret où $p$ désigne la fonction de masse de la loi de $X$:
$$
H(X) = - \mathbb{E}(\log p(X) ) = - \int_{\mathbb{R}} \log p(x) d\mathbb{P}_X(x) = - \sum_{i \in \mathbb{N}} p(i) \log p(i)
$$ et dans le cas à densité où $f$ désigne la fonction de densité de la loi de $X$:
$$
H(X) = - \mathbb{E}(\log f(X)) = - \int_{\mathbb{R}} \log f(x) d\mathbb{P}_X(x) = - \int_{\mathbb{R}} f(x) \log f(x) d\lambda(x)
$$ Intuitivement, on sent bien que la fonction de masse et de densité ont un rôle analogue, mais comment unifier la définition ?
De manière un peu naïve, en considérant qu'on puisse dériver la fonction de répartition de toutes variables aléatoires sans que ça pose problème. On aimerait bien écrire:
$$
H(X) = - \mathbb{E}(\log F'(X))
$$ Le besoin de dériver des fonctions non dérivables m'a immédiatement fait pensé aux distributions de Schwartz. Ainsi j'ai essayé de donner un sens à cette expression dans le cas où $X$ n'est pas absolument continue. Sans succès.
Ensuite, comment définir l'entropie d'une variable aléatoire continue mais pas absolument continue ?
Par exemple une variable aléatoire donc la fonction de répartition est l'escalier de Cantor.
Malgré le fait que $F$ soit dérivable presque partout, cette même dérivée est aussi nulle presque partout, en utilisant la dernière définition, on aurait une entropie nulle.
Qu'en est-il des cas où $F$ est encore plus méchante ?
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
Je pense avoir trouvé la bonne approche sur la page wiki anglaise.
https://en.wikipedia.org/wiki/Entropy_(information_theory)#Measure_theory