La mémoire des LLM
Un LLM n'a pas de mémoire propre : il oublie tout entre deux requêtes. Ce qu'on appelle sa mémoire est un ensemble de techniques qui lui renvoient, à chaque appel, les informations utiles du passé.
La mémoire à court terme : la fenêtre de contexte
Pendant une conversation, l'application renvoie tout l'historique au modèle à chaque nouveau message. C'est ce qui lui donne l'impression de se souvenir. Cette mémoire a deux limites : la taille de la fenêtre de contexte, et le coût, puisque chaque message renvoie un historique de plus en plus long.
Quand la conversation devient trop longue
- Fenêtre glissante : on ne garde que les derniers échanges. Simple, mais le début est oublié.
- Résumé : les anciens échanges sont résumés par le modèle et le résumé remplace le détail.
- Combinaison : un résumé du passé, plus les derniers échanges en entier.
La mémoire à long terme
Pour se souvenir d'une session à l'autre, il faut stocker des informations en dehors du modèle : préférences de l'utilisateur, décisions prises, faits importants. À chaque nouvelle conversation, on retrouve les souvenirs pertinents et on les injecte dans le prompt. Le mécanisme est le même que celui du RAG, appliqué à l'historique au lieu des documents.
Les questions à se poser
- Que faut-il retenir, et qui en décide : le modèle, l'utilisateur, des règles ?
- Comment corriger ou effacer un souvenir faux ou périmé ?
- Quelles données personnelles stocke-t-on, et combien de temps ? Le RGPD s'applique.