Comment fonctionne un LLM ?
Un grand modèle de langage (LLM, pour Large Language Model) est un réseau de neurones entraîné à prédire le token suivant d'un texte. ChatGPT, Claude, Gemini ou Mistral reposent tous sur ce principe : en répétant cette prédiction, le modèle rédige une réponse complète.
Les quatre étapes d'une réponse
Suivons la phrase « J'ai acheté un avocat au », que le modèle doit compléter.
1. La tokenisation. Le texte est découpé en tokens, qui ne sont pas des mots : les mots fréquents tiennent en un token (« un », « avocat »), les formes plus rares sont assemblées à partir de morceaux (« achet » + « é »). Le découpage reflète des fréquences statistiques, pas la grammaire. Chaque token reçoit un numéro dans un vocabulaire d'environ 100 000 entrées. C'est pour cela qu'un LLM peine à compter les lettres d'un mot : il ne voit pas les lettres, il voit des tokens.
2. Les embeddings. Chaque numéro est remplacé par un vecteur de plusieurs milliers de nombres, appris pendant l'entraînement : des tokens de sens proche ont des vecteurs proches. À ce stade, « avocat » n'a qu'un seul vecteur, qui mélange le fruit et le juriste.
3. L'attention et les blocs transformer. L'attention permet à chaque token de tenir compte de ceux qui le précèdent, jamais de ceux qui suivent. Ici, « avocat » s'appuie fortement sur « acheté » : on achète un fruit, on consulte un juriste. Son vecteur se charge du contexte. Une couche de neurones classique transforme ensuite chaque vecteur ; c'est elle qui stocke l'essentiel des connaissances du modèle. Ce bloc est empilé de quelques dizaines à une centaine de fois : les premières couches traitent plutôt la syntaxe, les dernières des notions abstraites.
4. La prédiction. Le vecteur du dernier token est converti en un score pour chaque token du vocabulaire, puis en probabilités. Après « J'ai acheté un avocat au », « marché » arrive en tête ; après « J'ai consulté un avocat au », ce seraient des mots liés au cabinet ou au barreau. Le modèle choisit un token (voir température, Top-K et Top-p), l'ajoute au texte et recommence tout le calcul pour le suivant. Une réponse de 300 mots représente quelques centaines de passages successifs dans le réseau.
Ce qu'il faut retenir
- Un LLM ne va pas chercher une réponse dans une base : il génère le texte le plus plausible compte tenu de ce qu'il a appris.
- Plausible ne veut pas dire vrai : c'est l'origine des hallucinations.
- Le modèle ne retient rien d'une conversation à l'autre. Tout ce qu'il sait d'un échange tient dans sa fenêtre de contexte.
Les LLM sont des réseaux de neurones d'un type particulier. Pour les bases, voir notre fiche Réseaux de neurones.