Entropie différentielle

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble ${\displaystyle \mathbb {X} }$, on définit l'entropie différentielle h(x) par :

${\displaystyle h(X)=-\int _{\mathbb {X} }f(x)\ln f(x)\,\mathrm {d} x.}$

Pour un couple de variables aléatoires (X , Y) de loi jointe f(x,y), alors l'entropie différentielle conditionnelle de X sachant Y vaut :

${\displaystyle h(X|Y)=-\int _{\mathbb {X} }\int _{\mathbb {Y} }f(x,y)\ln f(x|y)\,\mathrm {d} x\mathrm {d} y.}$

• On a :

${\displaystyle \forall (a,c)\in \mathbb {R} ^{*}\times \mathbb {R} ,h(aX+c)=h(X)+\ln(|a|)}$

• L'entropie différentielle d'une loi continue peut être négative, contrairement à celle d'une loi discrète.
• Majoration : Soit X une variable aléatoire continue de variance Var(X). Alors on a

${\displaystyle h(X)\leqslant {\frac {1}{2}}\ln(2\pi \mathrm {e} \mathrm {Var} (X)),}$

avec égalité si et seulement si X suit une loi normale.

Dans le tableau qui suit, ${\textstyle \Gamma (x)=\int _{0}^{\infty }{\rm {e}}^{-t}t^{x-1}{\rm {d}}t}$ est la fonction gamma, ${\textstyle \psi (x)={\frac {\rm {d}}{{\rm {d}}x}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$ est la fonction digamma, ${\textstyle \mathrm {B} (p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}$ est la fonction bêta, et γ est la constante d'Euler-Mascheroni.

Table d'entropies différentielles de lois usuelles.

Distribution	Fonction de distribution de probabilités	Entropie
Loi uniforme continue	${\displaystyle f(x)={\frac {1}{b-a}}1\!\!1_{[a,b]}}$	${\displaystyle \ln(b-a)\,}$
Loi normale	${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \ln \left(\sigma {\sqrt {2\pi \,{\rm {e}}}}\right)}$
Loi exponentielle	${\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}$	${\displaystyle 1-\ln \lambda \,}$
Loi de Cauchy	${\displaystyle f(x)={\frac {\lambda }{\pi }}{\frac {1}{\lambda ^{2}+x^{2}}}}$	${\displaystyle \ln(4\pi \lambda )\,}$
Loi du χ²	${\displaystyle f(x)={\frac {1}{2^{n/2}\sigma ^{n}\Gamma (n/2)}}x^{{\frac {n}{2}}-1}\exp \left(-{\frac {x}{2\sigma ^{2}}}\right)}$	${\displaystyle \ln 2\sigma ^{2}\Gamma \left({\frac {n}{2}}\right)-\left(1-{\frac {n}{2}}\right)\psi \left({\frac {n}{2}}\right)+{\frac {n}{2}}}$
Distribution Gamma	${\displaystyle f(x)={\frac {x^{\alpha -1}\exp(-{\frac {x}{\beta }})}{\beta ^{\alpha }\Gamma (\alpha )}}}$	${\displaystyle \ln(\beta \Gamma (\alpha ))+(1-\alpha )\psi (\alpha )+\alpha \,}$
Loi logistique	${\displaystyle f(x)={\frac {{\rm {e}}^{-x}}{(1+{\rm {e}}^{-x})^{2}}}}$	${\displaystyle 2\,}$
Statistique de Maxwell-Boltzmann	${\displaystyle f(x)=4\pi ^{-{\frac {1}{2}}}\beta ^{\frac {3}{2}}x^{2}\exp(-\beta x^{2})}$	${\displaystyle {\frac {1}{2}}\ln {\frac {\pi }{\beta }}+\gamma -{\frac {1}{2}}}$
Distribution de Pareto	${\displaystyle f(x)={\frac {ak^{a}}{x^{a+1}}}}$	${\displaystyle \ln {\frac {k}{a}}+1+{\frac {1}{a}}}$
Loi de Student	${\displaystyle f(x)={\frac {(1+x^{2}/n)^{-{\frac {n+1}{2}}}}{{\sqrt {n}}\mathrm {B} ({\frac {1}{2}},{\frac {n}{2}})}}}$	${\displaystyle {\frac {n+1}{2}}\psi \left({\frac {n+1}{2}}\right)-\psi \left({\frac {n}{2}}\right)+\ln {\sqrt {n}}\,\mathrm {B} \left({\frac {1}{2}},{\frac {n}{2}}\right)}$
Distribution de Weibull	${\displaystyle f(x)={\frac {c}{\alpha }}x^{c-1}\exp \left(-{\frac {x^{c}}{\alpha }}\right)}$	${\displaystyle {\frac {(c-1)\gamma }{c}}+\ln {\frac {\alpha ^{1/c}}{c}}+1}$
Loi normale multidimensionnelle	${\displaystyle f_{X}(x_{1},\dots ,x_{N})=}$ ${\displaystyle {\frac {1}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}\exp \left(-{\frac {1}{2}}(x-\mu )^{\top }\Sigma ^{-1}(x-\mu )\right)}$	${\displaystyle {\frac {1}{2}}\ln \left[(2\pi {\rm {e}})^{N}|\Sigma |\right]}$

• Loi de probabilité d'entropie maximale

• (en) Eric W. Weisstein, « Differential Entropy », sur MathWorld

• Portail des mathématiques
• Portail de l’informatique