LLM-as-a-Judge : évaluer avec un LLM
Le LLM-as-a-Judge consiste à utiliser un LLM pour évaluer les réponses d'un autre, selon des critères définis. C'est la seule façon réaliste d'évaluer des milliers de réponses en texte libre, là où une relecture humaine serait trop lente.
Pourquoi évaluer est difficile
Sans mesure, impossible de savoir si un changement de prompt, de modèle ou de base documentaire améliore ou dégrade un service. Pour une classification, on compare la réponse à la bonne étiquette. Pour une réponse de support ou un résumé, il faut juger la justesse, la complétude, le ton. Les relecteurs humains sont fiables mais lents, et les métriques qui comptent les mots communs passent à côté du sens : « Oui, sous 14 jours » et « Non, impossible » peuvent obtenir presque le même score.
Le principe
Le juge reçoit la question, la réponse à évaluer, idéalement une source de vérité (un extrait des conditions générales, une réponse de référence), et une grille de critères.
- Des critères définis, avec des exemples de ce que vaut chaque note.
- Une justification demandée avant la note : le juge raisonne, puis note.
- Une sortie structurée (JSON), pour agréger automatiquement des centaines de verdicts.
Deux modes : la notation d'une réponse selon la grille, ou la comparaison par paires, souvent plus fiable qu'une note absolue.
Le vrai gain
Sur 500 réponses, le juge isole en quelques minutes la minorité de réponses fausses ou risquées. L'humain ne relit que celles-là : l'expertise n'a pas disparu, elle est concentrée là où elle compte.
Les biais connus
- Biais de position : la première réponse est favorisée. On fait juger les deux ordres et on ne garde que les verdicts concordants.
- Biais de longueur : les réponses longues paraissent meilleures. La grille doit valoriser la concision.
- Auto-préférence : un modèle tend à préférer les textes qui lui ressemblent. On choisit un juge d'une autre famille que le modèle évalué.
Calibrer avant d'automatiser
Avant de faire confiance au juge, notez une cinquantaine de réponses à la main et vérifiez que ses verdicts concordent avec les vôtres dans au moins 80 % des cas. Sinon, affinez la grille. Un juge non calibré automatise vos erreurs.
Le même mécanisme sert à l'intérieur des raisonnements, dans le Tree of Thoughts, et le modèle de récompense du RLHF est lui aussi un juge.