Entropie conditionnelle

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire $Y$ , lorsque l'on connait exactement une variable aléatoire $X$ . On note $\mathrm {H} (Y|X)$ l'entropie conditionnelle de $Y$ sachant $X$ . On dit aussi parfois entropie de $Y$ conditionnée par $X$ ^[1]. Comme les autres entropies, elle se mesure généralement en bits.

Définitions

On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe. Les deux définitions sont équivalentes.

Définition directe

On définit l'entropie conditionnelle à partir de la probabilité conditionnelle de $Y$ relativement à $X$ :

\mathrm {H} (Y|X):=\sum _{y\in {\mathcal {Y}},x\in {\mathcal {X}}}-\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (Y=y|X=x))

où ${\mathcal {Y}}$ et ${\mathcal {X}}$ sont respectivement les supports des variables $Y$ et $X$ .

Par l'entropie conjointe

Étant donné deux variables aléatoires $X$ et $Y$ avec pour entropies respectives $\mathrm {H} (X)$ et $\mathrm {H} (Y)$ , et pour entropie conjointe $\mathrm {H} (X,Y)$ , l'entropie conditionnelle de $Y$ sachant $X$ est définie par :

\mathrm {H} (Y|X)\equiv \mathrm {H} (X,Y)-\mathrm {H} (X)

Équivalence des définitions

Ces deux définitions sont équivalentes, c'est-à-dire qu'avec la première définition de $\mathrm {H} (Y|X)$ ,

\mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)

Démonstration

${\begin{aligned}\mathrm {H} (X,Y)-\mathrm {H} (X)&=-\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (X=x,Y=y))+\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (X=x))\\&=-\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}\left({\frac {\mathbb {P} (X=x,Y=y)}{\mathbb {P} (X=x)}}\right)\\&=\mathrm {H} (Y|X)\end{aligned}}$

Propriétés

$\mathrm {H} (Y|X)=\mathrm {H} (Y)$ si et seulement si $Y$ et $X$ sont indépendantes.

Démonstration

$\mathrm {H} (Y|X)=\sum _{x\in X}\mathbb {P} (X=x)\mathrm {H} (Y|X=x)=0$ lorsque tous les termes de la somme sont nulles. Soit $x\in X$ tel que $\mathbb {P} (X=x)\neq 0$ , on a donc $\mathrm {H} (Y|X=x)=0$ , ce qui implique qu'il existe un unique élément $y\in Y$ vérifiant $\mathbb {P} (Y=y|X=x)=1$ . On peut donc définir une fonction $f$ telle que $g(y)=x$ pour tous les éléments de probabilité non nulle. Comme toutes les probabilités somment à $1$ , la probabilité de $Y$ est entièrement définie

Règle de la chaîne : avec $X_{1},...X_{n}$ variables aléatoires,

\mathrm {H} (X_{1},...,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},...,X_{i-1})

Démonstration

On connait la relation équivalente pour des probabilités :

\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})=\prod _{i=1}^{n}\mathbb {P} (X_{i}=x_{i}|X_{i-1}=x_{i-1},...,X_{1}=x_{1})

Par conséquent,

\mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1},...,x_{n}}\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})\log _{2}(\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n}))=-\sum _{x_{1},...,x_{n}}\sum _{i=1}^{n}\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})\log _{2}(\mathbb {P} (X_{i}=x_{i}|X_{i-1}=x_{i-1},...,X_{1}=x_{1}))

D'où en inversant les sommes

=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{i-1},...X_{1})

Intuition

Intuitivement, si le système combiné contient $\mathrm {H} (X,Y)$ bits d'information, et si nous connaissons parfaitement la variable aléatoire $X$ , pour coder le système on peut économiser $\mathrm {H} (X)$ bits, et on n'a plus besoin que de $\mathrm {H} (Y|X)$ bits.

Références

↑ Antoine Cornuéjols, Laurent Miclet et Vincent Barra, Apprentissage artificiel: Deep learning, concepts et algorithmes, EYROLLES, 2018 (ISBN 978-2-212-67522-1, lire en ligne), p. 446

Voir aussi

Théorie de l'information (91)

Dernière mise à jour du contenu le 09/07/2023.

Droit d'auteur : le texte de l'article est disponible sous la licence CC BY-SA 3.0.
Les détails concernant les licences et crédits des images sont disponibles en cliquant sur l'image.

Le site Wikimonde est un agrégateur d'articles encyclopédiques, il n'est pas à l'origine du contenu des articles, ni des images.

Le contenu de cet article est une copie de l'article d'origine (//fr.wikipedia.org/wiki/Entropie_conditionnelle) publié sur Wikipédia (wiki collaboratif publié sous licence libre).
Le contenu des articles n'est pas garanti.
Le texte des articles n'est pas modifié par Wikimonde. Des modifications mineures de mise en page et des liens internes (pour faciliter la navigation) peuvent être effectués automatiquement.

Des crédits concernant les images peuvent être ajoutés automatiquement selon les informations fournis par le site d'origine.
Les images sont chargées depuis des sites externes, certaines peuvent ne pas s'afficher.

Auteurs de cet article « Entropie conditionnelle » :

WikiCleanerBot, Kelam, Fschwarzentruber, Titlutin, ChronosLibre, Jef-Infojef, RedBot, Addbot, Phe-bot, Bot de pluie, Fm790, Sylenius, Udufruduhu, Alexbot, Simon37, Cyffaët, DodekBot~frwiki, Saxysellig, Moala, Anarkman, AEIOU, Mfinaud, Contribute.Math, 5 utilisateurs non enregistrés.

[1] Antoine Cornuéjols, Laurent Miclet et Vincent Barra, Apprentissage artificiel: Deep learning, concepts et algorithmes, EYROLLES, 2018 (ISBN 978-2-212-67522-1, lire en ligne), p. 446

[1]