Le few-shot prompting

Zero-shot, one-shot, few-shot

• Zero-shot : on décrit la tâche, sans exemple.
• One-shot : on donne un exemple.
• Few-shot : on en donne plusieurs, souvent un par catégorie possible.

Exemple pour classer des demandes clients :

« Demande : Je n'arrive pas à me connecter. → Catégorie : technique
Demande : Puis-je payer en trois fois ? → Catégorie : facturation
Demande : Quand commence la prochaine session ? → Catégorie : planning
Demande : Ma facture comporte une erreur. → Catégorie : »

Le modèle comprend sans autre explication qu'il doit répondre par un seul mot, parmi ces catégories. Aucun de ses paramètres ne change : il apprend la tâche à la volée, dans le contexte. C'est l'une des découvertes de l'article de 2020 consacré à GPT-3.

Quand l'utiliser

• Quand le format de sortie est précis et difficile à décrire.
• Quand la tâche repose sur vos propres conventions : la frontière entre deux catégories, votre ton, vos abréviations. Sans exemple, le modèle applique les conventions moyennes de ses données d'entraînement.
• Quand le zero-shot donne des résultats irréguliers sur les cas ambigus.

Combien d'exemples ?

Le gain le plus fort vient des premiers exemples, puis il plafonne. Chaque exemple est repayé en tokens d'entrée à chaque appel. Repère pratique : jusqu'à 5 à 10 exemples, le few-shot est adapté ; s'il en faut des centaines pour stabiliser la tâche, un fine-tuning sera plus efficace.

Les pièges

• Des exemples trop semblables : le modèle copie leur forme au lieu de comprendre la règle. Variez-les.
• Un déséquilibre : si trois exemples sur quatre sont « positif », le modèle aura tendance à répondre « positif ».
• Des exemples faux : le modèle reproduit aussi les erreurs.
• Un format irrégulier : gardez exactement la même présentation d'un exemple à l'autre.

Les exemples peuvent aussi montrer un raisonnement complet, étape par étape : c'est le point de départ de la chaîne de pensée.