Modèle de langage

Modèle de langage
Sous-classe de
Aspect de

En traitement automatique des langues, un modèle de langage est un modèle statistique qui modélise la distribution de séquences de mots, plus généralement de séquences de symboles discrets (lettres, phonèmes, mots), dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant une séquence de mots[1].

BERT, GPT-3 et Bloom sont des modèles de langage.

Bender et al. 2021 remet en cause la pertinence des énormes modèles de langage préentraînés[2].

Notes et références

  1. (en) Yoshua Bengio, « Neural net language models », dans Scholarpedia (lire en ligne).
  2. (en) Emily Bender, Timnit Gebru, Angelina McMillan-Major et Shmargaret Shmitchell, « On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 », FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency,‎ , p. 610–623 (DOI 10.1145/3442188.3445922)