D'où viennent les LLM ?

Avant 2013 : des mots sans sens

Les premiers systèmes reposaient sur des règles écrites à la main et sur des statistiques de suites de mots. Ils ne voyaient qu'une chaîne de caractères : rien ne leur disait que « voiture » et « automobile » sont proches, ni que « avocat » peut désigner un fruit ou un juriste.

2013 : les mots deviennent des vecteurs

Avec word2vec, une équipe de Google montre qu'un petit réseau entraîné à prédire les mots voisins transforme chaque mot en vecteur, et que la géométrie capture le sens : « roi » moins « homme » plus « femme » donne un vecteur proche de « reine ». Limite : un seul vecteur par mot, quel que soit le contexte.

2017 : le transformer

L'article « Attention Is All You Need », publié par des chercheurs de Google, propose une architecture fondée sur l'attention : chaque mot tient compte des autres, ce qui règle le problème du contexte. Et le texte est traité en parallèle sur GPU, là où les réseaux récurrents le lisaient mot à mot : l'entraînement massif devient économiquement possible.

2018-2019 : le pré-entraînement

Plus besoin de données étiquetées à la main : le texte brut devient son propre exercice, en masquant un mot ou en prédisant le suivant. Deux lignées apparaissent : BERT, qui comprend le texte (l'ancêtre des modèles d'embeddings utilisés dans le RAG), et GPT, qui le génère.

2020 : la taille comme stratégie

GPT-3 compte 175 milliards de paramètres, contre 1,5 milliard pour GPT-2 l'année précédente. Les performances progressent de façon régulière avec la taille du modèle, les données et le calcul. Surprise : un modèle assez grand apprend une tâche à partir de quelques exemples placés dans le prompt, sans réentraînement. C'est la naissance du few-shot.

2022 : ChatGPT et l'alignement

GPT-3 complétait du texte au lieu de répondre. L'ingrédient manquant : un entraînement sur les préférences humaines (voir RLHF et DPO), qui transforme un générateur de texte en assistant. ChatGPT sort le 30 novembre 2022 et touche le grand public en quelques semaines.

2023 : brancher le modèle sur le monde

Les limites apparaissent : connaissances figées, hallucinations, pas d'accès aux données de l'entreprise. L'année invente l'architecture autour du modèle : RAG industrialisé, appels d'outils, premiers agents, multimodalité.

2024-2026 : ouverture, efficience, raisonnement

• Les modèles open-weight (Llama, Qwen, Mistral, DeepSeek) se rapprochent des meilleurs modèles et rendent réaliste l'hébergement interne.
• Le coût par tâche chute grâce au Mixture of Experts, à la quantification et au cache KV.
• Des modèles apprennent à réfléchir avant de répondre.
• Les produits deviennent des systèmes aiguillés par un routeur.

Chaque rupture a résolu l'impasse de la précédente : le sens, puis le contexte, l'échelle, l'utilité, l'ancrage dans les données réelles, et enfin l'efficience. La suite du chapitre ouvre le moteur : comment un LLM produit une réponse, étape par étape.