Comprendre les grands modèles de langage sans une ligne de jargon

Les modèles de langage sont partout, dans les moteurs de recherche, les assistants, les outils de bureautique. Pourtant, si vous demandez à leurs utilisateurs ce qu'est réellement un grand modèle de langage, les réponses oscillent entre la magie et la science-fiction. La réalité est plus simple, et plus intéressante.

Une machine à prédire le mot suivant

À la base, un grand modèle de langage fait une chose : il prédit le mot le plus probable pour continuer un texte. Entraîné sur d'immenses quantités de textes, il a appris les régularités du langage, la manière dont les mots, les phrases et les idées s'enchaînent habituellement. Quand vous lui posez une question, il ne cherche pas une réponse dans une base de données ; il génère, mot après mot, la suite la plus vraisemblable compte tenu de ce qu'il a appris.

Cette mécanique explique beaucoup de choses. Elle explique la fluidité étonnante des réponses. Elle explique aussi pourquoi le modèle peut affirmer une erreur avec le même aplomb qu'une vérité : il ne distingue pas le vrai du faux, il produit du plausible.

Pourquoi ça marche aussi bien

Ce qui surprend, c'est l'ampleur des capacités qui émergent de ce principe simple. Résumer, traduire, reformuler, écrire du code, raisonner sur un problème : rien de tout cela n'a été programmé explicitement. Ces aptitudes sont apparues avec l'échelle, à mesure que les modèles étaient entraînés sur davantage de données et dotés de davantage de paramètres. C'est l'un des faits les plus déroutants du domaine : la quantité a fait émerger de la qualité, sans qu'on l'ait programmée pas à pas.

Ce qu'un modèle ne fait pas

Il est tentant de prêter au modèle une compréhension ou une intention. C'est une erreur. Un modèle de langage n'a pas de représentation du monde comme la nôtre, pas de conscience de ce qu'il dit, pas de volonté. Il manipule des régularités statistiques du langage avec une efficacité redoutable, mais il ne « sait » pas au sens où un humain sait. Cette distinction n'est pas un détail philosophique : elle explique pourquoi il faut vérifier ce qu'un modèle affirme sur des faits, des chiffres ou des références.

Bien l'utiliser

Ces limites ne diminuent pas l'intérêt de l'outil, à condition de l'employer pour ce qu'il est. Comme accélérateur de rédaction, de synthèse et d'exploration, un modèle de langage est remarquable. Comme source de vérité livrée à elle-même, il est faillible. Les usages les plus robustes lui donnent accès à des sources fiables et gardent une vérification humaine sur ce qui compte. La technologie est puissante ; la lucidité sur ce qu'elle fait l'est tout autant.