Comment fonctionne ChatGPT ?
Décrypter son nom pour comprendre les modèles de langage.
The Conversation
Comment fonctionne ChatGPT ?
On voit passer beaucoup d’avis sur ChatGPT, mais finalement, qu’en sait-on ? Juste que c’est un réseau de neurones artificiels avec des milliards de paramètres, capable de tenir une discussion de haut niveau, mais aussi de tomber dans des pièges grossiers tendus par des internautes facétieux. On nous parle beaucoup de lui mais on en sait finalement très peu sur son fonctionnement.
Je vous propose donc de présenter les mécanismes principaux sur lesquels ChatGPT repose et de montrer ainsi que, si le résultat est parfois impressionnant, ses mécanismes élémentaires sont astucieux mais pas vraiment nouveaux. Pour ce faire, passons en revue les différents termes du sigle « ChatGPT ».
T comme transformer
Un « transformer » est un réseau de neurones qui bénéficie du même algorithme d’apprentissage que les réseaux profonds (deep networks), qui a déjà fait ses preuves pour l’entraînement de grosses architectures. Il bénéficie également de deux caractéristiques éprouvées : d’une part, des techniques de « plongement lexical » pour coder les mots ; d’autre part, des techniques attentionnelles pour prendre en compte le fait que les mots sont séquentiels.
Continuer à lire l’article
Lancé en 2015, The Conversation France est un média généraliste en ligne qui fédère, sous la forme d’une association à but non lucratif, les établissements d’enseignement supérieur et de recherche francophones. Issu d’une étroite collaboration entre journalistes, universitaires et chercheurs, il propose d’éclairer le débat public grâce à des analyses indépendantes sur des sujets d’actualité.
