Les hallucinations des LLM
On parle d'hallucination quand un LLM affirme avec assurance une information fausse : une référence inventée, un chiffre erroné, une fonction qui n'existe pas. Ce n'est pas un bug ponctuel mais une conséquence directe de son fonctionnement.
Pourquoi le modèle invente
Un LLM ne consulte pas de base de données : il produit le texte le plus plausible, pas le plus vrai. Quand il connaît bien un sujet, plausible et vrai coïncident. Quand l'information est rare, absente de ses données ou postérieure à son entraînement, il a appris la forme de la réponse et la remplit : une référence de jurisprudence au bon format, un numéro d'article de loi qui ressemble aux vrais. Des avocats ont déjà été sanctionnés pour avoir cité des décisions ainsi inventées.
« Je ne sais pas » n'est qu'une suite possible parmi d'autres, et elle est rare dans les textes d'entraînement. Et le ton reste le même, qu'il ait raison ou tort : l'assurance du texte ne dit rien de sa justesse. Halluciner n'est pas une panne, c'est le fonctionnement normal appliqué à une question dont la réponse n'est pas bien mémorisée.
Les situations à risque
- Les faits précis et peu connus : dates, chiffres, citations, références.
- Les questions orientées, qui présupposent quelque chose de faux : le modèle suit la prémisse.
- Tout ce qui sort de ses données d'entraînement : l'actualité récente, vos données internes.
- Les longues générations, où une invention s'appuie sur la précédente.
À l'inverse, transformer un texte fourni (résumer, reformuler, traduire, structurer) est une zone de confiance. La boussole : plus la tâche s'appuie sur un contenu donné, plus elle est sûre ; plus elle exige un fait précis de mémoire, plus elle est risquée.
Comment les réduire
- Fournir les sources au modèle plutôt que compter sur sa mémoire : c'est le principe du RAG.
- Exiger qu'il cite le passage sur lequel il s'appuie, pour rendre l'invention visible.
- L'autoriser explicitement à répondre « je ne sais pas ».
- Baisser la température pour les tâches factuelles.
- Faire vérifier les réponses, par un humain ou par un autre modèle (LLM-as-a-Judge).
Aucune de ces méthodes ne supprime totalement le risque. Tout ce qui engage, vis-à-vis d'un client, d'un juge ou d'un bilan, passe par une validation humaine.