Quantification, distillation et pruning
La quantification réduit la précision avec laquelle sont stockés les paramètres d'un modèle, par exemple de 16 bits à 4 bits par nombre. Avec la distillation et le pruning, elle permet de faire tourner un grand modèle sur un matériel plus modeste, au prix d'une perte de qualité à mesurer.
Le poids des poids
Un modèle n'est qu'un ensemble de nombres appris. Un modèle de 70 milliards de paramètres stockés sur 16 bits (2 octets) pèse environ 140 Go : il ne tient sur aucun GPU seul. Or la réponse dépend de la combinaison de milliards de poids, pas de la précision de chacun. Trois techniques exploitent cette tolérance.
La quantification : écrire les mêmes poids plus court
On garde tous les poids, mais on réduit leur précision. Le même modèle de 70 milliards de paramètres occupe :
- environ 140 Go en 16 bits ;
- environ 70 Go en 8 bits ;
- environ 35 à 40 Go en 4 bits, et tient alors sur un seul GPU de 48 Go.
En 8 bits, la perte de qualité est en général difficile à percevoir. En 4 bits, elle reste souvent modérée, mais se concentre sur les tâches exigeantes : raisonnement, code, calcul, langues rares. C'est la technique la plus utilisée : elle s'applique après coup, sans réentraînement. Vous croiserez les formats GGUF, pour faire tourner des modèles en local, et GPTQ ou AWQ, pour les GPU. Elle est aussi la base de QLoRA.
La distillation : former un petit modèle
Un grand modèle, le professeur, produit des dizaines de milliers d'exemples de réponses expertes ; un petit modèle, l'élève, est entraîné à les imiter. Sur la tâche visée, l'élève peut approcher la qualité du professeur pour un coût d'utilisation bien plus faible. Les versions « distill » de modèles de raisonnement, de 7 ou 8 milliards de paramètres, sont construites ainsi.
Le pruning : couper l'inutile
Une partie des poids est quasi nulle ou redondante : on la supprime, puis on réentraîne brièvement pour compenser. Le gain réel dépend du matériel, qui doit savoir exploiter ces trous, et la technique est moins courante en pratique.
Quelle technique choisir ?
- Le modèle ne tient pas sur votre GPU : quantification.
- L'utilisation à grande échelle coûte trop cher : distillation vers un petit modèle.
- Matériel embarqué : les deux combinées. Un modèle distillé de 8 milliards de paramètres quantifié en 4 bits pèse environ 5 Go.
Dans tous les cas, mesurez la qualité sur vos propres cas d'usage avant et après compression, par exemple avec un LLM-as-a-Judge : les pourcentages publiés sont des moyennes, pas des garanties.