Plongement à noyau moyen

En statistiques et en apprentissage automatique, le plongement à noyau moyen est une manière de représenter une distribution de probabilités par un unique élément dans un espace de Hilbert à noyau reproduisant. Cette représentation permet de manipuler et comparer aisément des distributions de probabilités en utilisant des outils propres aux espaces de Hilbert, et notamment de définir la pseudo-métrique moyenne maximale (MMD) entre distributions de probabilités.

Ces concepts ont été introduits au début des années 2000^[1],[2].

Soit ${\displaystyle {\mathcal {X}}}$ un ensemble non nul, ${\displaystyle {\mathcal {P}}({\mathcal {X}})}$ l'ensemble des distributions de probabilités sur ${\displaystyle {\mathcal {X}}}$ et ${\displaystyle {\mathcal {H}}}$ l'espace de Hilbert à noyau reproduisant associé au noyau ${\displaystyle \kappa :{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$, supposé mesurable et borné. Le plongement à noyau moyen est la fonction

${\displaystyle \mu :{\mathcal {P}}({\mathcal {X}})\rightarrow {\mathcal {H}},\quad P\mapsto \int _{\mathcal {X}}\kappa (x,\cdot )dP(x)}$.

Le noyau ${\displaystyle k}$ est dit caractéristique losque le plongement ${\displaystyle \mu }$ est injectif.

L'opérateur de plongement à noyau moyen permet de définir une pseudo-distance entre distribution de probabilités:

${\displaystyle \mathrm {MMD} (P,Q)=\lVert \mu (P)-\mu (Q)\rVert }$.

Cette pseudo-distance est une distance si et seulement si le noyau choisi est caractéristique. C'est le cas^[3] notamment des noyaux qui vérifient ${\displaystyle \iint \kappa (x,y)d\mu (x)d\mu (y)>0}$ pour toute mesure de Borel non-nulle ${\displaystyle \mu }$, ou encore des noyaux invariants par translation définis sur ${\displaystyle \mathbb {R} ^{d}}$ et dont le support de la transformée de Fourier est ${\displaystyle \mathbb {R} ^{d}}$ entier.

On parle de distance moyenne maximale (maximum mean discepancy en anglais) car il s'agit d'un cas particulier de distance statistique intégrale:

${\displaystyle \mathrm {MMD} (P,Q)=\sup _{f\in {\mathcal {H}}:\lVert f\rVert \leq 1}\left|\int f(x)dP(x)-\int f(x)dQ(x)\right|}$

Cette distance est utilisée pour de nombreuses applications comme la construction de tests d'homogénéité, l'échantillonnage, etc.

Une notion de plongement à noyau moyen existe également pour les probabilités conditionnelles^[4]. Le plongement à noyau moyen conditionnel empirique peut par ailleurs s'interpréter comme la solution d'un problème de régression à noyau à valeurs vectorielles.

• Portail des probabilités et de la statistique