Température, Top-K et Top-p

Le point de départ : une distribution de probabilités

À la dernière étape du parcours d'un LLM, chaque token possible reçoit une probabilité. Après « Le chat dort sur le », « canapé » peut obtenir 40 %, « lit » 25 %, « toit » 5 %, et des milliers d'autres tokens se partagent le reste. Prendre toujours le plus probable donne des textes répétitifs ; tirer au hasard dans toute la liste donne des incohérences. Ces trois réglages se placent entre les deux.

La température

Elle accentue ou aplatit les écarts entre probabilités avant le tirage. À une température basse, proche de 0, le token le plus probable l'emporte presque toujours : les réponses sont stables. À une température élevée, au-delà de 1, les tokens moins probables ont plus de chances : le texte devient plus créatif, puis franchement incohérent.

Le Top-K

Le modèle ne tire qu'entre les K tokens les plus probables, par exemple les 40 premiers. Les autres sont écartés, ce qui élimine les choix aberrants. Sa limite : K est fixe, alors que le nombre de choix raisonnables varie selon le contexte. Avec K = 1, le modèle prend toujours le token le plus probable : c'est le mode glouton (greedy), sans aucun hasard.

Le Top-p

Aussi appelé nucleus sampling, il garde le plus petit groupe de tokens dont les probabilités cumulées atteignent p, par exemple 90 %. Quand le modèle est sûr de lui, ce groupe se réduit à deux ou trois tokens ; quand il hésite, il s'élargit. C'est le réglage le plus utilisé en production, souvent autour de p = 0,9.

Quels réglages en entreprise ?

• Extraction de données, classification, code : température basse, pour des résultats constants.
• Rédaction, reformulation, idées : température moyenne.
• On ajuste en général la température ou le Top-p, pas les deux à la fois.

Tous les fournisseurs n'exposent pas les trois paramètres, et certains modèles en imposent la valeur.