Aller au contenu

Entropie différentielle

Un article de Wikipédia, l'encyclopédie libre.

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.

Définitions

[modifier | modifier le code]

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble , on définit l'entropie différentielle h(x) par :

Pour un couple de variables aléatoires (X , Y) de loi jointe f(x,y), alors l'entropie différentielle conditionnelle de X sachant Y vaut :

Propriétés

[modifier | modifier le code]
  • On a :
  • L'entropie différentielle d'une loi continue peut être négative, contrairement à celle d'une loi discrète.
  • Majoration : Soit X une variable aléatoire continue de variance Var(X). Alors on a

avec égalité si et seulement si X suit une loi normale.

Entropie différentielle pour plusieurs distributions

[modifier | modifier le code]

Dans le tableau qui suit, est la fonction gamma, est la fonction digamma, est la fonction bêta, et γ est la constante d'Euler-Mascheroni.

Table d'entropies différentielles de lois usuelles.
Distribution Fonction de distribution de probabilités Entropie
Loi uniforme continue
Loi normale
Loi exponentielle
Loi de Cauchy
Loi du χ²

Distribution Gamma
Loi logistique
Statistique de Maxwell-Boltzmann
Distribution de Pareto
Loi de Student
Distribution de Weibull
Loi normale multidimensionnelle

Références

[modifier | modifier le code]

Liens externes

[modifier | modifier le code]