Déployer un LLM en entreprise

Premier choix : API ou hébergement interne

• Une API cloud : aucun matériel à gérer, accès aux modèles les plus performants, paiement au token. En contrepartie, les données sortent de l'entreprise : il faut vérifier les conditions contractuelles, la localisation des serveurs et la conformité RGPD.
• Un modèle open-weight hébergé chez vous : les données ne sortent jamais, le coût ne dépend plus du volume, mais il faut des GPU, des compétences pour les exploiter, et vous devenez responsable de la disponibilité et des mises à jour.

Le chemin le plus sûr : valider le cas d'usage avec une API, constituer un jeu de test métier, puis passer en interne seulement si les données, la réglementation ou un volume élevé et stable le justifient. Beaucoup d'entreprises finissent avec un système hybride : API pour les usages courants, modèle interne pour les données sensibles, avec un routeur qui aiguille les requêtes.

Dimensionner le matériel : la VRAM d'abord

Pour un LLM, la ressource décisive n'est ni la RAM ni le processeur, mais la mémoire du GPU (VRAM) : les poids du modèle doivent y tenir en entier. Le besoin se calcule en additionnant la taille des poids, le cache de chaque utilisateur simultané et une marge pour le logiciel.

• La quantification réduit fortement la taille des poids.
• Le cache KV grandit avec la longueur des contextes et le nombre d'utilisateurs simultanés : c'est lui qui fait tomber un serveur dimensionné pour quelques testeurs.
• Un modèle Mixture of Experts demande la mémoire de tous ses experts.
• Au-delà de quelques utilisateurs simultanés, un serveur d'inférence dédié (vLLM, TGI) devient nécessaire pour traiter les requêtes en parallèle.

Le coût total

À faible volume, l'API est presque toujours moins chère. Sur plusieurs années, le matériel ne représente souvent qu'une minorité du coût d'un déploiement interne : le premier poste est généralement humain (intégration, exploitation, mises à jour, évaluation). La bonne comparaison porte sur le coût par tâche réussie, en interne et via API, sur votre volume réel.

Les pièges classiques

• Acheter le matériel avant d'avoir validé le cas d'usage : la machine dicte alors le modèle.
• Dimensionner sans compter le cache KV : tout fonctionne à un utilisateur, plus rien à vingt.
• Attendre d'un petit modèle local la qualité des meilleurs modèles du marché, sans l'avoir évalué sur vos cas.
• Oublier qu'il faut quelqu'un pour exploiter le serveur dans la durée.
• Négliger la sécurité applicative : droits d'accès aux documents et prompt injection.

Mesurer et encadrer

• Vérifier la licence du modèle : open-weight ne veut pas dire libre de tout usage.
• Évaluer avant et après la mise en production, avec des relectures humaines et un LLM-as-a-Judge.
• Suivre le coût, la latence et les erreurs en production.

Le règlement européen sur l'IA (AI Act) ajoute des obligations selon le niveau de risque des usages : à intégrer dès la conception.