Word2Vec : le sens devient géométrie

Le principe : un mot se définit par ses voisins

En 2013, Tomas Mikolov et son équipe chez Google publient Word2Vec. L'idée reprend une intuition du linguiste John Firth (1957) : on reconnaît un mot à ses fréquentations. Plutôt que de décrire le sens à la main, on entraîne un petit réseau de neurones à prédire les mots qui entourent chaque mot d'un texte.

Une fenêtre glisse sur des milliards de phrases. Dans « Je bois un café chaud le matin », le mot central « café » doit permettre de prédire « bois », « un », « chaud » et « le » : c'est la variante skip-gram. L'autre variante, CBOW, fait l'inverse et devine le mot central à partir de ses voisins. À chaque erreur de prédiction, le vecteur de « café » est légèrement corrigé.

Ce que l'entraînement produit : un espace sémantique

Le réseau compte peu en lui-même : ce qu'on garde, ce sont les vecteurs, une liste de quelques centaines de nombres par mot. Les mots qui apparaissent dans les mêmes contextes reçoivent les mêmes corrections et finissent proches. « Café », « thé » et « jus » se regroupent, tout comme « voiture » et « automobile », qui ne partagent pourtant aucune lettre. Personne n'a programmé ces familles : elles émergent de l'exercice.

Aucune étiquette humaine n'est nécessaire : le texte brut sert à la fois d'exercice et de corrigé. Ce principe d'auto-supervision est celui du pré-entraînement des LLM actuels.

L'arithmétique du sens

Les relations deviennent des directions dans l'espace. Le déplacement de « homme » vers « femme » ressemble à celui de « roi » vers « reine », et le déplacement de « Rome » vers « Italie » à celui de « Paris » vers « France ». D'où l'exemple devenu célèbre : roi − homme + femme ≈ reine. Le « ≈ » compte : l'analogie fonctionne bien sur ces cas d'école, moins bien sur des relations plus floues.

Les embeddings utilisés aujourd'hui pour la recherche sémantique d'un RAG descendent directement de cette idée : deux textes de sens proche ont des vecteurs proches, même sans mot en commun.

La limite : un seul vecteur par mot

Chaque mot reçoit un vecteur unique, figé après l'entraînement. « Avocat » reste à mi-chemin entre le fruit et le juriste, dans toutes les phrases : Word2Vec ne distingue pas « J'ai acheté un avocat » de « J'ai consulté un avocat ». Il ignore aussi l'ordre des mots.

Il manquait un mécanisme pour que le contexte modifie le vecteur d'un mot au moment de la lecture. C'est le rôle de l'attention, introduite avec le Transformer en 2017 : voir la fiche L'attention pas à pas : Q, K, V.