RAG ou fine-tuning : que choisir ?

Le RAG : donner des connaissances

Le RAG fournit au modèle, au moment de répondre, les documents utiles. Il convient quand :

• l'information change souvent : tarifs, procédures, catalogue ;
• il faut citer ses sources ;
• les droits d'accès diffèrent selon les utilisateurs ;
• on veut démarrer vite, sans entraîner de modèle.

Le fine-tuning : changer un comportement

Le fine-tuning poursuit l'entraînement du modèle sur vos propres exemples. Il convient quand :

• vous voulez un style, un ton ou un format de sortie très précis et constant ;
• la tâche est étroite et répétée des milliers de fois : classer, extraire, reformuler selon vos règles ;
• vous voulez qu'un petit modèle, moins cher, atteigne le niveau d'un grand sur cette tâche ;
• le prompt devient si long, à force d'exemples et de consignes, qu'il coûte cher à chaque appel.

Les idées reçues

• « Le fine-tuning apprend nos documents au modèle » : il retient mal les faits précis et peut toujours les déformer. Pour les connaissances, le RAG est plus fiable.
• « Le fine-tuning est hors de portée » : des techniques comme LoRA et QLoRA le rendent abordable.

Souvent, les deux

Un modèle affiné pour respecter votre format et votre ton, alimenté par un RAG pour les faits à jour : c'est fréquemment la combinaison la plus efficace. Commencez par le prompt, puis le RAG, et n'envisagez le fine-tuning qu'une fois ces deux leviers exploités.