Tokens, coût et latence : lire une facture LLM
Les LLM se facturent au token, et leur vitesse se mesure en tokens. Comprendre ces unités permet d'estimer le coût d'un projet avant de le lancer et d'expliquer pourquoi une application est lente.
Entrée et sortie : deux tarifs
Les fournisseurs facturent séparément les tokens d'entrée (votre prompt, l'historique, les documents joints) et les tokens de sortie (la réponse). Les tokens de sortie coûtent en général nettement plus cher, souvent plusieurs fois le prix de l'entrée, car ils sont produits un par un. Les tarifs sont exprimés par million de tokens.
Un token ne correspond pas à un mot : un mot français compte en moyenne un peu plus d'un token. Pour une estimation précise, le plus sûr est de mesurer sur vos propres textes.
Un exemple de calcul
Avec des tarifs fictifs de 1 € par million de tokens en entrée et 4 € en sortie, un assistant qui traite 1 000 requêtes par jour, de 2 000 tokens en entrée et 300 en sortie :
- entrée : 2 millions de tokens par jour, soit 2 € ;
- sortie : 300 000 tokens par jour, soit 1,20 € ;
- total : 3,20 € par jour, environ 96 € par mois.
On voit vite ce qui pèse : un historique de conversation renvoyé à chaque message, ou des documents entiers collés dans le prompt, font grimper l'entrée.
Les tokens de réflexion, invisibles mais facturés
Les modèles de raisonnement produisent, avant leur réponse, des tokens de réflexion que l'utilisateur ne voit pas toujours. Ils sont pourtant facturés, en général au tarif de sortie, et ils retardent l'affichage de la réponse. Sur une même question, ils peuvent dominer la facture : on réserve donc ces modèles aux demandes qui le justifient : c'est le rôle du routeur.
Les deux mesures de vitesse
- TTFT (Time To First Token) : le délai avant le premier mot affiché. Il dépend de la longueur de l'entrée, que le modèle doit lire en entier, et du temps de réflexion pour un modèle de raisonnement.
- TPS (tokens par seconde) : la vitesse d'écriture une fois la réponse lancée. Elle dépend du modèle et de l'infrastructure.
Le temps total d'une réponse vaut à peu près TTFT + nombre de tokens de sortie ÷ TPS. Pour accélérer : raccourcir les prompts, demander des réponses concises, choisir un modèle plus petit, ou profiter de la mise en cache (voir le cache KV).
Le bon indicateur : le coût par tâche réussie
Comparer les modèles au prix du million de tokens est trompeur. Un petit modèle très bon marché qui échoue une fois sur trois, et qu'il faut relancer ou faire relire, peut revenir plus cher qu'un modèle plus coûteux qui réussit du premier coup. Mesurez le coût complet d'une tâche menée à bien, relances et contrôles compris.