Le routeur de LLM : la bonne requête au bon modèle
Un routeur de LLM analyse chaque requête et l'envoie vers le moteur le plus adapté : un petit modèle rapide pour les demandes simples, un modèle de raisonnement pour les problèmes difficiles, une recherche documentaire quand il faut des sources. Les grands assistants sont aujourd'hui des systèmes aiguillés, pas un modèle unique.
Le dilemme
Dans une même journée, un assistant reçoit « Bonjour ! », « Résume ce mail en trois points » et « Démontre que la racine carrée de 2 est irrationnelle ». Tout envoyer au modèle de raisonnement, c'est payer des secondes et des centimes pour dire bonjour. Tout envoyer au petit modèle, c'est échouer sur la démonstration. La difficulté des requêtes varie énormément : le système doit s'y adapter.
L'aiguillage
Le routeur se place en entrée. Il lit la requête, estime son intention et sa difficulté, puis l'oriente : modèle rapide, modèle de raisonnement, ou outils et RAG quand la réponse dépend de documents. Comme le triage aux urgences, il ne traite pas, il oriente. L'utilisateur, lui, ne voit qu'une seule conversation.
Un routeur est donc un classifieur : du machine learning classique au service des LLM. Il peut reposer sur des règles simples, sur un modèle entraîné à partir de requêtes étiquetées, ou sur une stratégie d'escalade : essayer le petit modèle, puis relancer avec le grand si la réponse échoue à un contrôle.
Le gain
Dans le trafic réel, la grande majorité des requêtes sont simples. Les envoyer vers un petit modèle réduit fortement le coût moyen et la latence, sans perte de qualité perçue, à condition de vérifier régulièrement que les requêtes difficiles sont bien reconnues. C'est la logique du coût par tâche réussie : ne payer le calcul lourd que là où il sert.
Trois étages d'aiguillage
- Le produit : choisir entre plusieurs modèles, comme décrit ci-dessus.
- Le prompt : au lieu de deux modèles distincts, le système peut basculer un même modèle en mode réflexion, par un réglage ou un marqueur ajouté à la requête.
- Les neurones : dans un modèle Mixture of Experts (MoE), certaines couches sont dupliquées en plusieurs experts, et un mini-routeur interne n'en active que quelques-uns pour chaque token. Le modèle compte beaucoup de paramètres, mais n'en utilise qu'une partie à chaque calcul. Mixtral, de la société française Mistral AI, a 8 experts par couche et en active 2 par token.
En entreprise
Le routeur peut aussi aiguiller selon la confidentialité : les données sensibles vers un modèle hébergé en interne, le reste vers une API (voir Déployer un LLM en entreprise). Un modèle MoE hébergé en interne demande toutefois la mémoire de tous ses experts, même si peu travaillent à la fois.