La Self-Consistency
La Self-Consistency consiste à poser plusieurs fois la même question au modèle, en le laissant raisonner différemment à chaque fois, puis à retenir la réponse qui revient le plus souvent. C'est un vote à la majorité entre plusieurs chaînes de pensée.
Le principe
- On envoie la même question plusieurs fois, par exemple 5, avec une température supérieure à 0 pour obtenir des raisonnements différents.
- On récupère la réponse finale de chaque raisonnement.
- On garde la réponse majoritaire.
L'idée : il existe souvent plusieurs chemins vers la bonne réponse, alors que les erreurs partent dans des directions différentes. Si trois raisonnements sur cinq aboutissent à 42 et que les deux autres donnent 38 et 51, 42 a de bonnes chances d'être juste.
C'est le principe de l'ensembling, déjà à l'œuvre dans les forêts aléatoires en machine learning : si chaque raisonnement a plus d'une chance sur deux d'être juste et que leurs erreurs sont peu liées, la majorité est plus fiable que n'importe quel raisonnement isolé.
Quand l'utiliser
- Pour les questions à réponse courte et vérifiable : un nombre, une catégorie, oui ou non.
- Pour les décisions où une erreur coûte cher et où l'on accepte de payer plusieurs appels.
Elle convient mal aux textes libres, comme un résumé ou un e-mail : deux bonnes réponses ne sont jamais identiques, et le vote perd son sens.
Autre limite : convergence n'est pas vérité. Si le modèle a un biais systématique, tous les raisonnements peuvent se tromper ensemble. Le vote mesure la cohérence, pas l'exactitude.
Bonus : un indicateur de confiance
Le taux d'accord mesure la confiance. Cinq réponses identiques sur cinq : on peut automatiser. Deux contre deux contre une : la question mérite une relecture humaine.
Le coût est multiplié par le nombre de tirages. Pour les problèmes où il faut explorer plusieurs pistes et revenir en arrière, on passe au Tree of Thoughts.