top of page
< Back

RLHF et DPO : aligner un modèle sur les préférences humaines

Le RLHF (Reinforcement Learning from Human Feedback) et le DPO (Direct Preference Optimization) sont deux méthodes pour apprendre à un LLM quelles réponses les humains préfèrent. C'est cette étape qui transforme un générateur de texte en assistant utile, poli et prudent.

Les trois étapes de l'entraînement d'un assistant

  1. Le pré-entraînement : le modèle apprend à prédire le token suivant sur d'énormes volumes de texte. Il sait écrire, mais pas forcément répondre à une question.
  2. L'affinage supervisé (SFT) : on lui montre des exemples de questions et de bonnes réponses rédigées par des humains.
  3. L'alignement sur les préférences : on lui apprend à distinguer une bonne réponse d'une moins bonne. C'est là qu'interviennent RLHF et DPO.


La matière première : des paires votées

Noter une réponse dans l'absolu est difficile ; comparer deux réponses est facile et fiable. Des annotateurs indiquent donc, pour une même question, laquelle de deux réponses ils préfèrent, sur des dizaines de milliers de paires. RLHF et DPO partent exactement de ces mêmes données : ils diffèrent par la façon de les faire entrer dans le modèle.


Le RLHF

Avec ces comparaisons, on entraîne d'abord un modèle de récompense, qui apprend à noter une réponse comme le ferait un humain : ce n'est rien d'autre qu'un modèle supervisé de classification des préférences. Le LLM est ensuite entraîné par apprentissage par renforcement (PPO) pour obtenir les meilleures notes, tout en restant proche d'une copie de référence figée pour ne pas dériver.

C'est la méthode qui a donné naissance à ChatGPT, mais elle est lourde : quatre modèles en mémoire en même temps (le modèle entraîné, la référence, le modèle de récompense et un estimateur propre à PPO), beaucoup de calcul et des réglages délicats.


Le DPO

Le DPO, publié en 2023, part des mêmes paires mais se passe du modèle de récompense et de l'apprentissage par renforcement. Une seule fonction de perte augmente directement la probabilité de la réponse préférée et diminue celle de la réponse rejetée, par rapport à la référence figée. Deux modèles en mémoire au lieu de quatre, un entraînement stable, des ressources proches d'un simple affinage supervisé : c'est ce qui a démocratisé l'alignement.


Et aujourd'hui ?

L'apprentissage par renforcement n'a pas disparu : il sert surtout à entraîner les modèles de raisonnement, avec des méthodes comme GRPO et des récompenses vérifiables (un test qui passe, un calcul juste).

  • Ces méthodes expliquent le comportement des assistants : leur politesse, leurs refus, leur tendance parfois à vous donner raison.
  • Le DPO peut aussi servir à affiner un modèle open-weight sur vos propres préférences, par exemple avec LoRA.
bottom of page