Définition générale de l'entropie

Maximatorent

Je me demandais quelle est le bon cadre théorique pour la définition de l'entropie d'une variable aléatoire quelconque, une définition qui unifie les formules pour les v.a. discrète et continues, à densité ou non.
Si la variable aléatoire $X$ est à valeur dans $\mathbb{R}$ et $F$ est sa fonction de répartition, et $\mathbb{P}_X$ la mesure image de $X$, les définitions que je retrouve souvent sont (à constante multiplicative près), dans le cas discret où $p$ désigne la fonction de masse de la loi de $X$:
$$
H(X) = - \mathbb{E}(\log p(X) ) = - \int_{\mathbb{R}} \log p(x) d\mathbb{P}_X(x) = - \sum_{i \in \mathbb{N}} p(i) \log p(i)
$$ et dans le cas à densité où $f$ désigne la fonction de densité de la loi de $X$:
$$
H(X) = - \mathbb{E}(\log f(X)) = - \int_{\mathbb{R}} \log f(x) d\mathbb{P}_X(x) = - \int_{\mathbb{R}} f(x) \log f(x) d\lambda(x)
$$ Intuitivement, on sent bien que la fonction de masse et de densité ont un rôle analogue, mais comment unifier la définition ?
De manière un peu naïve, en considérant qu'on puisse dériver la fonction de répartition de toutes variables aléatoires sans que ça pose problème. On aimerait bien écrire:
$$
H(X) = - \mathbb{E}(\log F'(X))
$$ Le besoin de dériver des fonctions non dérivables m'a immédiatement fait pensé aux distributions de Schwartz. Ainsi j'ai essayé de donner un sens à cette expression dans le cas où $X$ n'est pas absolument continue. Sans succès.
Ensuite, comment définir l'entropie d'une variable aléatoire continue mais pas absolument continue ?
Par exemple une variable aléatoire donc la fonction de répartition est l'escalier de Cantor.
Malgré le fait que $F$ soit dérivable presque partout, cette même dérivée est aussi nulle presque partout,  en utilisant la dernière définition, on aurait une entropie nulle.
Qu'en est-il des cas où $F$ est encore plus méchante ?

Bibix

Pour l'entropie d'une variable aléatoire absolument continue, c'est la divergence de Kullback-Leibler qui donne la réponse. C'est l'unification que tu as toi-même mentionnée. Au sens fort, la condition "absolument continue" est nécessaire pour que l'entropie soit finie. Je ne connais pas de généralisation au sens faible, mais peut-être qu'on peut définir un sens faible en passant la divergence à la fonction de régularisation au sens des distributions (un peu comme pour Fourier avec $S(\mathbb{R})$). Il faudrait un autre type de distributions à mon avis...

julian

Tiens, entropie de Shannon, information De Kullback... Cela m'en rappelle, des trucs intéressants.... En revanche, au sens extra faible, je n'en ai pas eu connaissance... Je dois me renseigner. 

julian

https://fr.wikipedia.org/wiki/Entropie_(mathématiques)

Maximatorent

Merci pour vos réponses.
Je pense avoir trouvé la bonne approche sur la page wiki anglaise.
https://en.wikipedia.org/wiki/Entropy_(information_theory)#Measure_theory