GPT-4

GPT-4 (acronyme de Generative Pre-trained Transformer 4) est un modèle de langage multimodalmultimodal, de type transformeur génératif pré-entraîné, développé par la société OpenAI et sorti le 14 mars 2023, il succède à GPT-3^[1].

GPT-4 posséderait 170 000 milliards de paramètres, contre 175 milliards de paramètres de GPT-3.5^[2]. Chiffre non officiel, et qui a été démentie par le PDG d'OpenAI, Sam Altman durant une interview pour StrictlyVC, puis relayé dans The Verge : «  complete bullshit » (soit, conneries totales, en français)^[3] ; il a rajouté, par ailleurs, que les gens pourraient être déçus s'ils croyaient en cela.

Entrainement et capacités

OpenAI annonce, sur son blog, GPT-4 comme étant « plus fiable, créatif et capable de gérer des instructions beaucoup plus nuancées que GPT-3.5 »^[4]. L'organisation a produit deux versions de GPT-4 avec des fenêtres contextuelles de 8 192 et 32 768 jetons, une amélioration significative par rapport à GPT-3.5 et GPT-3, qui étaient limités à 4 096 et 2 048 jetons respectivement^[5]. Contrairement à son prédécesseur, GPT-4 peut prendre des images ainsi que du texte comme entrées.

OpenAI adopte une approche fermée en ce qui concerne les détails techniques de GPT-4 ; le rapport technique s'est explicitement abstenu de spécifier la taille, l'architecture, le matériel ou la méthode de formation du modèle. Le rapport affirme que « le paysage concurrentiel et les implications sur la sécurité des modèles à grande échelle » sont des facteurs qui ont influencé cette décision. Le nombre précis de paramètres de GPT-4 reste inconnu, mais The Verge cité des rumeurs selon lesquelles GPT-4 augmenterait considérablement le nombre de paramètres de GPT-3 de 175 milliards à 100 000 milliards. Le PDG d'OpenAI, Sam Altman, qualifie ces rumeurs de « conneries complètes ».

Les représentants américains Don Beyer et Ted Lieu ont confirmé au New York Times qu'Altman s'était rendu au Congrès des États-Unis en janvier 2023 pour faire la démonstration du GPT-4 et de ses "contrôles de sécurité" améliorés par rapport aux autres modèles d'IA.

Réception

Le New York Times a écrit que GPT-4 a montré des améliorations impressionnantes de la précision par rapport à GPT-3.5, avait acquis la capacité de résumer et de commenter des images, était capable de résumer des textes compliqués, a réussi un examen du barreau et plusieurs tests standardisés, mais a quand même montré une tendance à halluciner les réponses^[6].

Notes et références

Annexes

Articles connexes

• BERT (modèle de langage)

Liens externes

• (en) Site officiel

• Portail de l’informatique