Le Tree of Thoughts
Le Tree of Thoughts (arbre de pensées) organise le raisonnement en arbre : à chaque étape, le modèle propose plusieurs pistes, les évalue, poursuit les plus prometteuses et abandonne les autres. Il peut ainsi revenir en arrière, ce qu'une chaîne de pensée unique ne permet pas.
De la chaîne à l'arbre
Une chaîne de pensée suit un seul chemin : si la première étape part dans la mauvaise direction, tout le reste suit. La Self-Consistency lance plusieurs chaînes complètes et indépendantes, puis vote à la fin. Le Tree of Thoughts intervient au milieu du raisonnement : il compare les pistes étape par étape.
Le fonctionnement
- Générer : à partir de l'état actuel, le modèle propose plusieurs étapes suivantes possibles.
- Évaluer : chaque piste est notée, souvent par un modèle dans le rôle d'évaluateur (voir LLM-as-a-Judge) : prometteuse, incertaine ou sans issue.
- Sélectionner : on développe les meilleures pistes et on élague les autres.
- Revenir en arrière si toutes les branches d'un niveau échouent.
Quand l'utiliser
- Pour les problèmes de planification ou d'optimisation, où il faut tester des options : organiser un planning sous contraintes, élaborer une stratégie.
- Pour les énigmes où une erreur précoce est fatale.
Son coût
Chaque nœud de l'arbre demande un ou plusieurs appels au modèle : la facture et le temps de réponse augmentent vite. On le réserve aux problèmes où les approches plus simples échouent, et on limite la profondeur et la largeur de l'arbre.