One word, many vectorsUn mot, plusieurs vecteurs

TRA6008 S2 · in classS2 · en classe

Three sentences, one word

Take three sentences with bank in them:

• I deposited money at the bank.
• We picnicked on the river bank.
• The plane will bank left.

You would translate the word three different ways: banque, rive, virer. A fixed embedding gives all three the same vector.

A vector per occurrence

A contextual embedding sides with the translator. Instead of storing one finished vector per word, the model computes a vector for each occurrence, at the moment of use, from the whole sentence around it:

• the bank beside deposited and money comes out near the vocabulary of finance;
• the one beside river and picnicked, near geography;
• the one after will, in verb territory.

Same word, three vectors, each shaped by its company. Models that work this way arrived in the late 2010s, and ELMo was the landmark (Peters et al., 2018).

This is also where the material stops being machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. in general and becomes deep learning deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. . Word2vec kept its model deliberately simple, which let it train on billions of words (Mikolov et al., 2013a). Computing a vector for every occurrence takes many layers instead, and ELMo’s paper says so in its title, Deep contextualized word representations.

What happens to polysemy

Nobody lists the senses of bank or writes a rule to pick one. The senses simply stop being merged, because there is no single vector left for them to be merged into.

One consequence is easy to miss. A word no longer has “its vector”, the kind you could print in a table. It has a vector in each sentence, so the question “what does the model think bank means?” only has answers of the form “here, in this sentence”. Word meaning in isolation, the thing a dictionary records, has quietly left the system.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 2 October 2026

Trois phrases, un seul mot

Prenons trois phrases contenant bank :

• I deposited money at the bank.
• We picnicked on the river bank.
• The plane will bank left.

Vous traduiriez le mot de trois façons différentes : banque, rive, virer. Un plongement fixe donne le même vecteur aux trois.

Un vecteur par occurrence

Un plongement contextuel donne raison à la traductrice ou au traducteur. Au lieu de conserver un vecteur tout fait par mot, le modèle calcule un vecteur pour chaque occurrence, au moment de l’usage, à partir de toute la phrase qui l’entoure :

• le bank voisin de deposited et de money ressort près du vocabulaire de la finance ;
• celui qui voisine avec river et picnicked, près de la géographie ;
• celui qui suit will, du côté des verbes.

Même mot, trois vecteurs, chacun façonné par sa compagnie. Les modèles qui fonctionnent ainsi arrivent à la fin des années 2010, et ELMo en est le jalon (Peters et al., 2018).

C’est aussi ici que la matière cesse d’être de l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. en général pour devenir de l’apprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. . Word2vec gardait son modèle délibérément simple, ce qui lui a permis de s’entraîner sur des milliards de mots (Mikolov et al., 2013a). Calculer un vecteur pour chaque occurrence demande au contraire de nombreuses couches, et l’article d’ELMo le dit dans son titre, Deep contextualized word representations.

Ce que devient la polysémie

Personne ne dresse la liste des sens de bank ni n’écrit de règle pour en choisir un. Les sens cessent simplement d’être fusionnés, parce qu’il ne reste aucun vecteur unique dans lequel les fusionner.

Une conséquence passe facilement inaperçue. Un mot n’a plus « son vecteur », celui qu’on pourrait imprimer dans un tableau. Il a un vecteur dans chaque phrase, si bien que la question « que pense le modèle du sens de bank ? » n’admet que des réponses de la forme « ici, dans cette phrase ». Le sens d’un mot hors contexte, ce que consigne un dictionnaire, a discrètement quitté le système.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 10 septembre 2026